唐生智在与共产党分手以后，何去何从？后来他自己在总结经验教训时承认：“国共分家后，我在政治上失了方向，军队也失了群众的支持，结果害人害己，走上了军阀的覆辙，参加军阀混战起来了。”而后，他多次参加过反蒋、反桂（系）、反冯（玉祥）战争。
汪精卫与蒋介石的权力之争由来已久，唐生智随着实力的猛增也欲取蒋而代之。蒋介石发动“四一二政变”、建立南京政府之后，形成了宁、汉对立的局面。当时，唐生智就主张趁蒋羽翼未丰进行东征讨蒋，未被采纳。在武汉政府进行第二次北伐期间，蒋介石一面拉拢川、黔军阀进攻两湖，一面怂恿唐生智部将发动叛乱，与此同时还叫嚣直接进攻武汉，摧毁武汉政府。蒋介石的内外夹攻使唐生智恼羞成怒，他在把河南拱手让给冯玉祥之后立即回师武汉并准备东征讨蒋。汪精卫以提高党权、反对独裁相标榜，与蒋争权夺利。于是，唐生智又成了汪精卫反蒋的坚强后盾。
1927年6月13日，汪精卫、唐生智刚从郑州返回武汉，就迫不及待地调兵遣将，布置东征军事。15日，即组成了东征军。在武汉军政要员中，数唐生智反蒋最为积极。为了争取他人的支持，他许诺打到南京之后，拥汪精卫为国民政府主席，谭延门岂为行政院长，以何键、程潜、鲁涤平为安徽、江苏、浙江三省的主席，他自己则担任北伐军总司令。
20日，唐生智在总指挥部总理纪念周会上就讨蒋问题发表了慷慨激昂的演说，痛斥蒋介石背叛国民党和垄断广东、上海、江苏诸省财源等罪行，强调为严肃党纪军纪，必须打倒蒋介石。唐还呼吁，“我们革命的军队，只有赶快把反革命的蒋介石打倒，找出一条财政上的出路，解决军费上的困难，才能把革命势力扩展起来，肃清一切反革命。”这实际上就是一篇讨蒋檄文。6月下旬，唐生智下令东征，张发奎的第四军、蔡廷锴的第十一军移驻江西之南浔线上，准备与朱培德的第三军沿长江右岸东下进军。
冯玉祥闻知武汉即将东征，焦急万分，因为宁、汉开战，必给奉鲁军阀以可乘之机，而冯部则首当其冲。于是，冯不厌其烦，进行调解，力图劝唐生智等停止东征。6月22日，冯玉祥致电唐生智，首先对唐赞美一番，说他“忠于党国，志坚行洁”，“努力革命，英勇明达”，希望宁、汉双方不要互相猜疑、受敌人之挑拨离间，恳请唐提师北上，共同完成北伐事业。然而，唐生智东征决心已定，不会为冯玉祥的花言巧语所阻。
6月27日，蒋介石命令宁方北伐军停止对鲁南的进攻，将实力较强的第一军、第七军调到安徽、浙江一线，总兵力在十万人以上，准备讨伐唐生智。7月中旬，武汉方面令张发奎、程潜、朱培德、贺龙各部东征军集中江西，准备分三路进攻安庆、皖北、浙江。7月19日，唐生智、朱培德、张发奎等十五人联名致电杨树庄、李济深等人，指出蒋介石假除共之名，行独裁之实，表示“有蒋则无党，有党则无蒋”，“蒋如不去，党必沦亡”。在此之前，杨、李等致电唐生智，希望他表明对蒋态度。这一电文，可以说是对杨、李的答复。接着，武汉政府设宴招待参加东征之团长以上将领九十余人。席间，唐生智发表演说，号召各位军官努力打到南京去，并且指出，只有这样，“方可得着出路”。唐对东征讨蒋寄予厚望，并竭力鼓舞士气，大造讨蒋舆论。
22日，冯又致电唐生智，请唐一致北伐。在此前后，冯还分别致电宁、汉，邀请双方首脑到开封会商，解决争端。宁、汉双方拒绝了这一建议。28日，汪精卫、唐生智等公布了《武汉国民政府宣言》，声称为提高党权，必须打倒蒋介石。冯玉祥见劝阻汉方无效，加上蒋介石极力拉拢他，他在调解双方纠纷时也就渐渐地偏向南京方面。冯玉祥为了制止唐生智东征讨蒋，便派孙连仲驻兵武胜关，并威胁汉方如执意东征，西北军将驱兵南下攻取武汉。这对汉方讨蒋确实起到牵制作用，唐生智不得不分兵以防冯军南下。
7月下旬，第四军、第十一军已在南昌附近待命，第三十五军则奉命向安庆、合肥一带进发，第三十六军亦准备经九江向芜湖前进，第八军主力则驻防武汉，维持两湖治安。唐生智本人则在九江设立了第四集团军总部的前敌指挥所，东征已如箭在弦上。
8月3日，武汉方面的汪精卫、孙科、唐生智等联名电复郑州冯玉祥，表白武汉已经彻底反共，声称南京方面指责武汉已“赤化”是错误的，并提出了“南伐共党，北伐奉鲁”的口号，希望冯给予谅解。
武汉方面紧锣密鼓筹划东征，南京方面如临大敌，便将在北方对直鲁军作战的部队中的半数以上调回长江以南以保卫南京。这样一来，宁方在津浦线上的兵力大为减少，给敌军以可乘之机。7月底，直鲁军阀孙传芳、张宗昌部攻陷了徐州。蒋介石发誓，不收复徐州决不回南京。8月初，蒋介石亲自督师反攻徐州，因急于求成，反倒中了直鲁军诱敌深入之计，北伐军全线溃败，全部撤到长江以南，蒋介石则慌忙退回南京。直鲁军得势不饶人，倾巢南下，大有直捣南京之势。
南京政府在北面受挫的同时，西南也频频告急。8月1日，第四集团军第二方面军叶挺、贺龙所部在中国共产党的领导下，毅然举起了武装反抗国民党的旗帜。武汉政府立即命令张发奎率部讨伐。7月底，汪精卫曾要求张发奎加紧反共和东征讨蒋，张同意反共，但因接受陈可钰的劝阻而不同意东征，要求调军队返回广东，这时，张发奎以追击起义军为名，率第四军回到广东；第十一军蔡廷锴部则开赴闽赣边境去投靠他的老上司陈铭枢；而第三军在江西也观望不前。这样一来，武汉方面的东征军几乎散失了一半。
尽管张发奎的第二方面军瓦解了，唐生智还是不改初衷。8月6日，武汉国民政府鉴于南京的蒋介石、胡汉民、吴稚晖仍然反对汪精卫、唐生智，便决定继续东征讨蒋。任命唐生智为东征军总指挥，程潜为东征军江右军指挥，率领第六军、第三十六军沿长江右岸东进；何键为东征军江左军指挥，率领第三十五军沿长江左岸前进。8月9日，唐发表了讨蒋通电，痛斥蒋介石“以军治党、以党窃政”，操纵党权、军权、政权于一身，以反共为名，叛党抗命，自立政府，屠杀异己，投降帝国主义等种种罪行，声称“奉中央命令，率师伐罪”。接着，唐生智又挥师东进，何键的第三十五军占领了安庆，刘兴的第三十六军沿长江直趋芜湖，从而对南京构成极大的威胁。
津浦线的失败，特别是唐生智的东征，使南京政府“左右实难应付”。这时候，南京政权只有与武汉方面妥协才能摆脱困境，全力对付直鲁军阀。然而，唐生智坚决要求蒋介石下野，否则继续东进。桂系的李宗仁、白崇禧，甚至蒋的嫡系将领何应钦也不支持蒋介石，而主张与唐生智妥协，合力对北，拒绝蒋介石两路出击的计划。这样，蒋介石对外成了被攻击的目标，对内成了孤家寡人，他无可奈何地向李宗仁表示：“武汉方面一定要我下野，否则势难甘休，那我下野就是了。”8月12日，蒋介石向国民政府提出辞职，国民党一些元老认为，“照唐生智那种气势汹汹，我们两面受敌不了，蒋先生暂时歇一歇也好。”第二天，蒋介石通电下野。
迫使蒋介石下野的因素固然很多，但是，唐生智东征却是最重要的因素。如果不是唐生智大军进逼，威胁南京，把矛头直接指向蒋介石，使南京政府两面受敌，蒋介石绝不会因为徐州战败而辞职，桂系也不至于过早地拆蒋介石的台，进行“逼宫”。
唐生智以地方实力派起家，高傲自负，北伐即起就与蒋氏产生隔阂，争权夺利，先争于长沙，再争于武汉，把蒋介石挤到江西战场，并欲取蒋介石北伐军总司令一职。后来，蒋介石趁唐生智率部入豫进行二次北伐之机，指使各路诸侯扰乱两湖，迫使唐忍痛割爱舍弃河南。唐生智对此怀恨在心，与蒋势不两立，急于报复，便率师东征，成为第一个敢于与蒋介石进行武装对抗的国民党将领。
唐生智向集党、政、军大权于一身的蒋介石挑战，并非一时激愤，而是有一定准备的。从政治上来讲，唐生智利用国民党内部的矛盾，打着反对蒋介石独裁的旗号，为自己赢得了不少支持者。大革命前期，他站在国民党左派的立场上，与邓演达等支持武汉国民政府，反对蒋介石另立中央，并以反革命罪名对蒋进行声讨。七·一五武汉清共以后，唐生智则追随汪精卫，以提高党权为口号，反对蒋介石搞个人独裁。总之，唐生智反蒋从来就不是孤立的行动。从军事上来讲，唐生智手握重兵、坐拥两湖，成为他敢于反蒋的“资本”。在北伐战争开始之前，唐生智已拥有二三万人枪，成了北伐军竭力争取的对象。加入北伐行列后，唐生智身为前敌总指挥，在北伐军中仅居蒋介石之下，而且，唐生智指挥军队在两湖战场屡建奇功，不断扩充军队，其军队人数不久就超过了蒋介石。唐还牢牢地控制了两湖。而蒋介石嫡系部队既无战功，又纪律松弛、声名狼藉，更为唐生智所藐视。以实力和战功而论，唐生智不甘心久居蒋氏之下，正是因为他拥有一支庞大的军队，牢固地控制着两湖地盘，唐生智才成为国民党左派和汪精卫等政治派别的依靠力量，才具备“犯上作乱”实力。在当时，一些国民党人虽有反蒋之心，却无反蒋之力。只有唐生智才同时具备这两个条件。于是，唐生智在国民党将领中成了武力倒蒋的急先锋。从此以后，在国民党内，武装倒蒋成了家常便饭。