张发奎自从在广州失败，离开四军后，先到日本周游了一圈，便在香港、上海等地闲居了一年多，这是他从军以来第一次离开部队，心里总有些失重之感。也就在这时候，他的老搭档黄琪翔离开了四军，和邓演达一起参与组建第三党的活动，两人从此分道扬镳。1928年，蒋介石发动第二次北伐打败奉系张作霖部后，基本统一了全国。紧接着，蒋介石为了控制全国，通过两次裁军，企图压缩地方派系，极大地扩充自己的地盘和军事力量，遭到李宗仁、冯玉祥、阎锡山等地方势力的强烈反对，进而发展成为反蒋战争。
北伐胜利后，张发奎苦于军阀连年混战，百姓遭殃，对于蒋提出的裁军意见非常赞同。鼓励第四军的老部下缪培南和薛岳率先通电支持，第四军上校以上的军官联名上书，要求裁撤自己所在的第四军。这种举动，在各军事首领都紧紧捂住自己实力不松动的状况下，是很抢眼的。裁兵之法果然在第四军身上实行了，1928年9月中旬，第四军缩编为第四师（5个师被缩编成3个旅），缪培南任师长，朱晖日任副师长，谢婴白、黄镇球、吴奇伟分任第十、十一、十二旅旅长。薛岳反而没被重用，只好怅然离去，闲居香港九龙。
1929年春，蒋桂之战甚嚣尘上。张发奎在上海，预料蒋桂难免一战，于是顿时萌生东山再起之心。张发奎的下野是桂系打击造成的，乃放出要报复桂系的空气，故意使蒋介石闻知，并自负地说：“讨伐桂系的第一号任命状一定是我张向华。”果真，4月7日，正在用人之际的蒋介石重新启用张发奎，任命他为第一路追击军司令官兼第四师师长（当时师长缪培南因病离职，由副师长朱晖日代理），并拨其嫡系部队朱绍良、陈继承两师归张发奎指挥。
蒋介石命令张发奎调动各师集结于江西修水、铜鼓间，准备进攻武汉桂系主力，但为确保控制张发奎，又命令心腹特务关巩任第四师政治部主任进行严密监视，并密令朱绍良、陈继承在一定时机内消灭张发奎和第四师。对于蒋介石的阴谋，张发奎早已料到，并加以防范。他将计就计，直至第四师集结铜鼓，他才正式到职担任指挥。沿途都是第四师打先锋，朱、陈部队随后跟进。
桂系主力第七军等因内部腐化，分赃不匀，矛盾重重，以致毫无战斗力。驻防武汉的李朝芳部听到张发奎部西进的消息后，即逃窜至鄂西、荆州、沙市附近。张发奎率领第四师不经战斗便入武汉，又在荆州一带，一枪不发，收缴了桂军的一部分武器。
如此轻松解决鄂西的桂军，使张发奎始料不及，他更没想到的是曾在北伐威震一时、有“钢军”之誉的桂军也如此不堪一击，仅仅坚持了几个月便被蒋介石打得晕头转向。6月27日，李宗仁、白崇禧等相偕逃往香港，蒋桂战争便以桂系的失败而告终。
7月初，张发奎在解决桂军后，指定各部在荆州附近集结休整待命，并兼任鄂西绥靖主任。他在荆州积极整军集训，渐渐恢复“铁军”的军威，在南京的蒋介石有些惴惴不安。他深知已牢牢掌握军权的张发奎雄心勃勃，敢作敢为，又剽悍善战，特别是他是忠于汪精卫的，不得不防。于是，他给朱绍良、陈继承下了一道密令，伺机解决张发奎的第四师。
朱绍良、陈继承得令后，打算以庆祝张发奎部胜利之名，摆一个鸿门宴，在沙市宴请第四师少校以上官长，准备待他们离开酒席之前，一举解除武装。殊不知张发奎已有戒备，在赴宴前命令部队不参加会餐的官兵，随时准备紧急集合以防意外，同时，在会场附近增加警卫巡查。朱、陈二人得知张发奎有戒备后不敢贸然动手，乃将张发奎和平解决桂军、补充实力的情况详报蒋介石，以待命行动。
张发奎已感到来自四方的威胁。东面的武汉，有刘屿重兵坐镇；西面的三峡，有刘湘凭天险扼守；南有长江之阻，李韫衍部驻防于常德，陈渠珍部驻防于沅陵；北面的襄樊，也布有重兵。为了安全起见，张发奎决定离朱、陈部队远些，便以整训为由，让各师按地区进行训练，朱、陈两师驻荆州、沙市地区，第四师则移驻宜昌、当阳地区训练。
张发奎部移师后，第四师第十一旅（旅长黄镇球）、十二旅（旅长吴奇伟）及教导旅（旅长陈芝馨）驻宜昌，第十旅（旅长邓龙光）驻白洋、当阳，重新归军的李汉魂任副师长，韩汉英任师参谋长。此时，全师有2万余人，超过甲种师的编制定额，实力相当雄厚。张发奎感到由衷的高兴。
部队到达宜昌一个月后，师政治部主任关巩不辞而别，张发奎认为关巩是蒋介石派到四师的“钉子”，他必是回南京向蒋介石密告去了，四师凶多吉少，一定要另找出路。正在这时，他收到了汪精卫的密信。汪精卫在信中说，他在欧洲看到国内局势动荡，已于9月初回到香港，并在跑马地建立“国民党第二届执监委员联席会议”，树起“护党救国”的旗号，策动一切不满于蒋介石个人独裁统治的地方实力派起来反蒋。鉴于在北伐时建立的关系，他首先联系张发奎，希望张发奎能带头反蒋。
其实，“护党救国”的旗号最早就是由张发奎在“广州事变”中提出的。阅毕汪信，张发奎甚表赞同，暗中与身边的幕僚合计着如何响应汪精卫的号召，再一次东征反蒋。
在南京，蒋介石得到关巩等人的报告后，一边命令驻武汉附近的曹万顺暂编第一师迅速乘船溯江而上，进驻枝江县布防，以阻止张部渡江南下，一边命令张发奎率部离开宜昌，乘轮船东下浦口，再坐火车到苏北海州地区接受整训，而宜昌交由曹万顺部接防。
张发奎知道，蒋介石对自己一直不信任，本来对其收缴桂系残部的武器就有点不乐意，现在汪精卫又在香港建立“地下中央”，他一定怀疑自己与汪精卫之间有联系，现在果然压力就随之而至了。与其坐以待毙，不如铤而走险，张发奎决心发难反蒋，领军南下。于是，他召集少将以上的将领会议征求意见，大家一致同意反蒋。
张发奎当机立断地说：“我们现在是孤军作战，制定的作战方案一定要慎而又慎。我看，应包括三点：（一）过湖南用迥环掩护的战术，稳妥前进，极力避战，以保存实力。（二）到广西后，如桂军能相容，即与合作；如桂军拒守，应全力先将桂军消灭。（三）最终作战目的是攻取广州，以广东为根据地，联合各方面拥汪反蒋。现在当务之急，要秘密准备小轮船载运部队渡江，并让眷属乘外国轮船离开宜昌，以解后顾之忧。
第四师官兵绝大部分是两广人，听说要渡江回乡都很高兴，只3天时间就全部渡过长江。
与此同时，张发奎还派出三路代表分头活动，第一路是派人赴重庆见刘湘，请他不要派兵追击。刘湘正为四川的问题弄得焦头烂额，没有余力干涉川外事，因此做了顺水人情，答应了。第二路是派人赴长沙见何键，请他在第四师路过湘西时不要截击，何键不仅不同意，差点把来使杀了。第三路派人赴香港，敦促汪精卫迅速回国，做好桂系的工作，不计前嫌，重新合作。这说明，张发奎并非莽张飞，其反蒋是做了各方面准备的。
9月17日，张发奎“先下手为强”，在枝江境内长江弯曲处伏兵以待。曹万顺师约两个团乘两艘轮船到达白洋附近时，即被打了个措手不及。张发奎亲自命令炮兵连开三炮，两船被击中要害，两团人马全被解除武装。取胜后，他下令把所俘士兵中的强壮者补充部队，把所俘旅长带到石门后放走。
蒋介石得知张发奎部已渡过长江并缴了曹师的械后，异常恼怒，命令李韫珩约3个团追击张部。张发奎见李部尾追在后，甩也甩不掉，实是讨厌，过慈利时，命令担任后卫的吴奇伟旅教训他一下。吴奇伟便在一个狭长的山谷巧布埋伏，将进入山谷的李部1000余人全部击毙。李韫珩经此大创后，再也不敢跟踪尾追。
在湘西，何键得到蒋介石全力歼灭张发奎部的命令后，即派李抱冰旅在石门口袭击张部。李部为保存实力，与第四师第十九团三营接触，打了半天就撤回。何键又派刘建绪军在武冈县之瓦屋塘设下埋伏，张发奎亲自带着特务营及十一旅迎战，激战一昼夜，双方官兵死亡都不小，但刘建绪军毕竟不是张发奎的对手，最后被迫退守武冈城。张发奎率部顺利渡过沅江。
蒋介石知道，张发奎部一旦回到两广，无疑是放虎归山。于是，他再次电令何键不惜代价堵击张部，一面通令全国通缉张发奎。张发奎当然不肯让步，由其领衔，副旅长以上的将领副署，通电反蒋，并提出撤销违法乱纪的三全大会；根本铲除独裁恶化势力和敦请革命元勋（汪精卫）返国主持大计这三项护党主张。据说，这电稿还是副师长李汉魂的手笔，骈四俪六，写得亦庄亦谐，不愧是篇妙文。同时，张发奎将“国民革命军第四师”的番号改为“护党救国军第四师”。
后来，有人问张发奎：“你以一个师的兵力，处在四面包围中，敢与蒋介石为敌，孤军奋战，究竟有什么把握呢？”张发奎豪气地说：“三户可以亡秦，一旅足以兴夏，何况我有二万之众，我们一帮将领都是天不怕地不怕的硬汉，一帮士兵和军官都是身经百战的勇敢健儿，蒋介石实力虽强，但众叛亲离，不得人心，我一经发难，必有人四起响应，我就可以纵横西南，给蒋介石以无情的打击。只要我张发奎尚有一师之众，蒋介石就不能高枕无忧。”
汪精卫在香港得知张发奎反蒋，大喜过望，即派薛岳从香港赶到南宁，向广西省政府主席俞作柏游说，希望俞作柏能与张发奎合作，在两广创造新局面。
俞作柏本与汪精卫、张发奎有过历史关系。1927年11月17日，张发奎在广州采取非常行动，曾任命寓居在香港的俞作柏为广西省政府主席，要他回桂，反黄绍竑。后因张黄失败，俞作柏这才作罢。但此时，俞作柏在广西主政不满3个月，基础尚未巩固，蒋介石一方要他入京，另一方汪精卫又叫他反蒋。在急不暇择的情况下，他发表通电，同意就任护党救国军南路总司令，欢迎张发奎返桂。
谁想到，俞作柏这一转变，事先没有做好准备工作，不但原来的李宗仁的旧部吕焕炎等心怀不服，就是李明瑞的心腹大将黄权也不了解，随即为粤军陈济棠所收买。蒋介石很快下令免掉俞作柏、李明瑞本兼各职，任命吕焕炎为广西省政府主席兼讨逆军第八路副总指挥（总指挥为陈济棠），任杨腾辉为广西编遣分区特派员，又委黄权为独立第五师师长。黄权的叛变，使俞作柏、李明瑞感到大势已去，决心出走。
而在广州，陈济棠听说张发奎要回来，知道其来者不善，一面把他的总指挥部移设梧州，一面将香翰屏、余汉谋、蔡廷锴三师急调入桂，防堵张发奎。
杨腾辉、黄权得到陈济棠的支持后，有恃无恐，一面派出队伍进驻桂平，向南宁进逼；一面强迫俞作柏、李明瑞离开广西，俞作柏只得前往香港，而李明瑞则倒向了共产党一方。这给在桂军中秘密工作的共产党组织抓住了机会。12月8日，爆发了由中国共产党领导的百色起义，张云逸任红七军军长，俞作豫（俞作柏之弟）任红八军军长，李明瑞为红七军、红八军总指挥，从****中央派来的代表邓斌（邓小平）出任红七军、红八军政委。可以说，张发奎在宜昌的反蒋起义，无意中给百色起义创造了条件。
我们回顾历史，真有意思，共产党领导的几次起义，如南昌起义、广州起义，现又是百色起义，都与张发奎有着直接或间接的关系。
杨腾辉深知张发奎部的战斗力，为了保存实力乃决定欢迎张部入桂。如果粤方来攻，可以联张共同对敌。
形势急变，汪精卫为使张发奎部入桂不致同广西部队相左，便通过唐生智穿针引线，主动与桂系领导人黄绍竑晤谈，希望流亡在外的李宗仁、黄绍竑、白崇禧速回广西，领导桂军同张发奎合作，参加反蒋行动。
政治是讲现实的，没有永久的敌人，也没有永久的朋友，只有永久的利益。正在行进途中的张发奎，很快接到黄绍竑的密信，说他已回到广西，并在宾阳做通了吕焕炎、杨腾辉、梁朝玑桂军将领的工作，决定不计前嫌，愿意与张发奎通力合作，同下广东。同时，他已令各部秘密向平乐、梧州集结，以期早日与张发奎军会师。
看完密信，张发奎悬在心中的石头终于落地。
11月13日，张发奎接到黄绍竑电：“接第二届执监委员联席会议命令，组织护党救国军第八路总司令部。李宗仁任总司令兼中央命令执行所所长，黄绍竑当副总司令兼广西省政府主席，白崇禧任前敌总指挥。相与一起讨蒋靖粤。”随即张发奎在同安宣布就任“护党救国军第三路总司令”一职，并任命薛岳为副总司令。
11月24日，张发奎与黄绍竑会晤于梧州北面的石桥，商量张桂联军联合作战事宜。两年前，在“广州事变”中，两人是生死冤家，如今又站在共同反蒋的阵线上。