北伐战争期间，蒋介石出于建立自己独裁地位的需要，为了在军事、政治等方面取得更强有力的支持，曾对冯玉祥大施讨好笼络手段，并于1928年2月18日在开封与冯玉祥结拜为兄弟。
随着北伐的推进，原来的旧军阀一部分被消灭，一部分以换帜的形式与蒋介石等新军阀合流，蒋介石的羽翼也一天天丰满起来。在英美帝国主义的支持下，北伐战争刚一结束，蒋介石便开始了他排除异己，建立一姓天下的活动。
冯玉祥的第二集团军在参加北伐的几个军事集团中是实力最雄厚、功勋最卓著的一个。但在北伐胜利后，他们却深受蒋介石的排挤和打击。这些排挤和打击首先表现在地盘分配问题上。本来打垮张作霖的安国军、夺取平津地区主要是得力于冯军，而且冯玉祥军事集团的官兵们一直把平津地区看作是他们原国民军固有的地盘。但夺取平津后，蒋介石却把它划给了参战最晚、功劳最小的阎锡山。蒋介石自己也占据了江浙和南京、上海地区，却把最贫瘠的陕甘宁地区划给冯玉祥。这种厚此薄彼的作法引起了冯军集团官兵们的强烈不满。接着，在军队的编遣问题上，蒋介石又与阎锡山勾结，合力制裁冯玉祥。蒋介石等人提出所谓对等缩编的原则，提议冯、蒋两部各缩编为12个师。当时冯玉祥的军队人数是蒋介石军队的两倍，按蒋介石的提议缩编，冯军便大大地吃了亏。而蒋介石手中除了缩编后的12个师外，还另掌握着中央编遣区的11个师，实力大增。冯玉祥不满蒋介石的排挤打击，便以种种理由与之对抗，蒋介石更借中央的名义，强调“集中”、“统一”，进行压制。双方矛盾愈演愈烈，最终酿成战火。
1929年5月19日，冯玉祥召集他的将领在华阴开会，宣布准备对蒋开战，并部署了作战计划。冯军尚未正式行动，冯部中曾受蒋介石拉拢收买并一直与蒋介石保持秘密联系的韩复榘、石友三等人却突然率部背叛冯玉祥投靠蒋介石。韩复榘、石友三都是冯玉祥手下的著名战将，他们的反叛，不仅使冯军集团兵力大受损失，而且严重地动摇了军心。冯玉祥在此打击下，只好宣布下野，暂时放弃了反蒋的计划。
就在冯玉祥为第一次反蒋失败而倍感忧愤之时，山西军阀阎锡山却以愿意与冯玉祥一同出洋和共同反蒋等谎言，将冯玉祥骗到山西太原软禁了起来。企图通过挟持冯玉祥及冯军集团，增加自己的实力，独霸北方半壁江山，与其他军阀抗衡。
冯玉祥被软禁后，冯军集团的宋哲元等人曾与阎锡山相约联合反蒋。同年10月，宋哲元出兵潼关后，阎锡山却违背诺言，按兵不动。冯军在蒋军和唐生智部的夹击下，损失惨重，很快便失败了。
到1930年初，蒋介石逐渐打败了除阎锡山以外的其他军阀，征讨的矛头直指阎锡山。与此同时，冯军集团的官兵们因不满阎锡山背信弃义、软禁冯玉祥、欺骗宋哲元等行为，也秘密与蒋介石联络，准备联合讨伐阎锡山。阎锡山见此形势，知道继续囚禁冯玉祥对自己不利，便于1930年3月，将冯玉祥释放，并向冯玉祥表示自己这次愿意真诚合作，联合反蒋。冯玉祥获释后，立即组织联络各方面反蒋势力，形成了以冯军、晋军为主力的军事、政治反蒋大联盟。5月4日，阎锡山与冯玉祥在郑州召开军事会议，进行了作战方略的具体部署。
5月11日，反蒋联军与蒋介石军队开始大规模接触，民国史上规模最大的一次军阀混战——蒋、冯阎中原大战爆发了。
中原大战开始后，双方调动了近百万的兵力投入战斗，其中冯阎联军众达60余万，几乎是蒋军的2倍。联军在冯、阎二人的指挥下，向蒋军发起了凌厉的攻势，致使蒋军一度全线动摇，要求停战议和，冯阎联军未予理睬，继续发动攻势。眼看大功在即，可就在此时，蒋介石却拉拢了东北军的张学良，让他出兵帮助自己。于是，数十万东北军开进山海关，对冯阎联军形成了夹击之势。阎锡山见势不妙，便收缩战线，从华北迅速退入山西自守，正在中原苦斗的冯军陷入孤军奋战的境地，其退回西北的咽喉之地洛阳也被蒋军攻占，于是军心大散，全线崩溃，地盘也丢失殆尽。
1930年10月，历时近5个月的中原大战以冯、阎联军的失败而告终。冯玉祥苦心经营20余年的军事集团，至此完全土崩瓦解，其部众大部分投降了蒋介石，一部分被东北军收编。冯玉祥被迫于10月23日再次通电下野。此后，冯玉祥除1933年在张家口与共产党合作组织察哈尔民众抗日同盟军，以及抗战初期曾短期出任过战区司令长官外，也结束了他长达30余年的军旅生涯。