冯玉祥进占河南后，收编了直系靳云颚部及其他杂色武装，总兵力号称30万人。1927年6月12日，冯玉祥将豫、陕、甘三省军队编为七个方面军，分别以孙良诚、靳云颚、方振武、宋哲元、岳维峻、于右任、刘郁芬为总指挥。不久，又将镇嵩军编为第八方面军，以刘镇华为总指挥。以上各部只有第一、第四、第七方面军为冯的嫡系，五、六方面军为陕西地方部队，据地自雄，不听调遣；其入豫后新收编的靳云颚、樊钟秀等部仍割据一方，难以控制；刘震华的镇嵩军更是首鼠两端，心存观望。表面上冯玉祥控制着陕西、甘肃、河南三省，但是水面之下暗流涌动，危机四伏。
当时山西阎锡山已经明确表态参加国民革命，并出兵石家庄，攻击奉军侧背。冯玉祥为配合阎锡山的行动乃派出孙良诚部渡河北进，攻占豫北。7月7日，吉鸿昌师张印湘旅占领新乡，8日，占领卫辉，9日，占领汤阴，先锋骑兵部队进至安阳以北。同时，梁冠英师赵登禹旅向武涉前进，主力迂回新乡，与吉鸿昌会和。郑大章的骑兵部队已经进至山东菏泽，梁寿恺部从山东东明渡河，相继攻克南乐、大名。奉军退至邯郸、磁县，在安阳一带与冯军对峙。
在津浦路方面，由于北伐军痛失徐州，蒋介石电请冯玉祥出兵协助反攻徐州。可是当时在河南的冯军嫡系部队只有孙良诚、石友三、马鸿逵三部，而且都有各自的任务。方振武部南下襄樊，已经有脱离冯玉祥的企图。而郑大章部在菏泽，韩复榘部尚在潼关，河南新收编的部队又都蠢蠢欲动。真是捉襟见肘。蒋介石来电欲定于7月26日总攻徐州，无奈之下，冯玉祥派鹿钟麟为东路军总指挥，统帅一大群杂牌军会攻徐州。但是内部不协调，行动又迟缓，不久北伐军反攻失败，败退回江南，豫东方面的进攻只好作罢。
第二方面军总指挥靳云颚不满于冯玉祥给予的地盘和职位，开始暗中和孙传芳、张宗昌等联络。在徐州方面吃紧的时候，冯玉祥数次发电要他率部赴援，靳要钱要枪，找出种种借口拒不出兵。在8月间看到宁方的北伐失败，孙传芳正大举反攻南京，靳云颚认为时机成熟，乃与孙传芳、张宗昌约定中秋节（9月10日）举事。岂料冯玉祥早已掌握了靳云颚的一举一动。9月6日，冯玉祥突然下令免去靳云颚本兼各职，7日，孙良诚、孙连仲、郑大章等部已将靳云颚所部团团围住。靳云颚手下的军长秦德纯、庞炳勋、任应歧早就暗投国民军，所以刚一接战，靳军顷刻瓦解。其他如李振亚部在禹州被韩复榘解决；马吉第部在许昌被孙良诚解决；严矶明师被石友三解决。数日之间，风卷残云。冯玉祥遂委任孙连仲为第二方面军总指挥。
此时陕甘方面也很不安定。原陇东张兆钾旧部黄得功、韩有禄等部时常出没于陕甘交界，骚扰后方。冯玉祥派第四方面军宋哲元率部督剿。宋哲元所部第三师徐以智、第八师周永胜、第二十二师马鸿宾骑兵师张万庆等分路向庆阳、西峰、环县等地出击围剿。黄、韩不支溃败，率残部窜入陕西三原、泾阳两县。驻防当地的陕军师长田玉洁贪图黄、韩残部的枪械，竟然抗命将其收编，并驻扎当地。宋哲元率部追击至此，与田玉洁交涉，田竟然拒不听命。宋哲元于是下令攻击，经过激战，黄、韩，及田玉洁部被彻底消灭。还有一位陕西土著军阀麻振武，盘踞大荔多年，对国民军的命令不予理睬，并将其巢穴经营得非常坚固。在冯玉祥援陕的时候曾派方振武部围攻大荔。后来方振武率部出潼关参加北伐，另派张维玺、刘汝明两部继续围攻，历时半年仍旧无法攻克。一直到1927年7月25日，才通过挖掘隧道，用炸药崩塌城墙，才得以攻破城垣。麻振武受伤毙命，所部悉数被歼。至同年10月，陕甘一带基本稳定。
河南粗定，此时，冯玉祥面临最大的威胁是山东的直鲁军张宗昌、褚玉璞部，不将其击败，仍然无法在中原立足，而南方宁汉对立，几欲火拼，根本指望不上他们北上配合。于是只好求助于阎锡山。双方代表往返磋商最后决定：直隶境内以北各地区归晋军担任，山东方面及陇海路、豫北地区由国民军担任。定于10月9日同时发动。
9月下旬，奉军突然以主力进攻山西。27日，阎锡山命绥远商震部开始行动。为配合阎锡山，冯玉祥也只好提前动作。冯玉祥将部队分为三路：以鹿钟麟为第一路总指挥，下辖庞炳勋第二十军，杨虎城第十军，吕秀文第二十一军，另有王金韬师、王鸿恩师、肖之楚师、王钰棻师、常好仁师，共计5万余人。（尽是收编的杂牌部队，以其打先锋，焉有不败之理。）由马牧集（今虞城）经砀山向徐州进攻。以刘镇华为第二路军总指挥，郑金声为副总指挥；统率其第八方面军全部由考城向济宁进攻。以孙连仲为第三路军总指挥，辖其本部第十四军、梁寿恺军、秦德纯军、韩德元军，计4万人，由大名向德州进攻。总预备队为孙良诚、韩复榘、石友三、马鸿逵、郑大章等部精锐9万余人，集结于开封、郑州一带策应三路。
10月9日，鹿钟麟第一路军首先发起进攻。鹿钟麟以杨虎城为前敌总指挥。杨虎城第十军是陕西子弟兵，骁勇善战，下辖两师。杨部官兵出潼关时在灵宝曾受到冯玉祥的检阅，官兵衣袖上带着写有“为人民服务”的布条，冯玉祥在队前问候官兵们：“你们辛苦了！”官兵们回答：“为人民服务！”
10月10日，直鲁军由褚玉璞统率徐源泉、张敬尧、王栋、袁家骥、方永昌等部10万人展开于杨集、马牧集一带，准备迎战。
然而冯军的另两路大军并未随第一路一起行动。豫北方面的孙连仲部受到奉军及红枪会武装的牵制，动弹不得；刘镇华部一经动员即有不稳迹象，并传出一些将领要叛变的消息。
10月11日，直鲁军凭借优势兵力与铁甲车的强大火力，发起了反攻。杨虎城部首当其冲，在遭受重大伤亡后屡屡电请鹿钟麟派兵增援，鹿令杨部坚守，并说郑大章、马鸿逵的骑兵不久将至。杨虎城率部苦撑，久等援兵不至，只好退守归德（今商丘）。13日，第二路军刘镇华部的姜明玉、梅发魁、憨玉珍三部突然在前线倒戈，并擒获了副总指挥郑金声，将其押送济南。叛军联合直鲁军第十二军刘志陆等部，截断了第一路军鹿钟麟的退路，将其包围。鹿部激战五天，才陆续突围，撤至兰封附近。鹿钟麟下令杨虎城、王金韬、肖之楚继续坚守归德。而杨部内无粮草，外无救兵，坚守等于自杀，于是杨、王、肖三人商议退出战场，撤往敌人兵力空虚的皖北。10月16日，三部经柘城、鹿邑退至皖北太和。杨虎城伤心于冯玉祥为人太过自私，决定脱离冯部，自己另成立一个小局面。
直鲁军获胜后继续沿陇海路两侧向开封急进，企图一举击溃国民军，占领河南。冯玉祥眼看局势危殆，急忙调集嫡系主力孙良诚、孙连仲、韩复榘、石友三等部连同鹿钟麟残部，计10万人，亲自指挥，迎战直鲁军。冯玉祥鉴于直鲁军的优势为白俄军和铁甲车，而且精锐集中于铁路线；决定采取口袋战术，诱敌深入，一举歼灭。于是重新调整部署：命马鸿逵军放弃兰封，与孙良诚军在杜良寨一带占领阵地，左翼依靠黄河南岸；石友三军由陈留进至杞县，在城东布置阵地；鹿钟麟军在杞县至太康一线布防；郑大章骑兵部队活动于归德附近，相机进袭；刘镇华军集中于考城，抵御敌军刘志陆、潘鸿钧两部；韩复榘军及孙连仲部两个师集中于开封、郑州，为总预备队。
10月21日，直鲁军大举来攻，23日首先在铁路正面展开激战。26日，杞县至黄河南岸之间战斗更趋剧烈，双方白刃交加，肉搏冲锋。直鲁军被两侧的国民军截成数段，首尾难顾。27日，在直鲁军渐渐不支的情况下，韩复榘的预备队投入战斗。直鲁军全线崩溃，国民军各部乘势猛追。11月1日，孙良诚部吉鸿昌师占领兰封，鹿钟麟部占领睢县，骑兵军从敌军右翼包抄；2日，吉鸿昌部占领内黄，韩复榘部占领柳河，石友三部占领李坝集并俘获铁甲车五辆。3日，吉鸿昌部向归德、考城追击，联合刘镇华部，击溃当面的刘志陆、潘鸿钧部敌军。5日，韩复榘、庞炳勋军占领归德，俘敌万余人。6日，石友三军追过马牧集，前锋进抵砀山一带。此战，歼灭直鲁军3万余人，是为“兰封大捷”。
其时，韩复榘军攻势正猛，意欲一举而下徐州。但是由于南京方面的北伐军一直徘徊于蚌埠一带，冯玉祥不愿孤军深入，乃下令暂时退守归德。韩复榘部攻的太快，已经进抵徐州城外的九里山，和徐州北站。张宗昌大惊之色，正准备撤退之际，原吴佩孚旧部于学忠率三师人马从豫南赶来。他本打算到北京投奔张作霖，眼见张宗昌失利，便伸出援手参战。韩复榘只有一师人马，几乎被包了饺子，幸亏冯玉祥派刘汝明率部赶到将其救出。
冯玉祥为了尽量在野战中歼灭敌军，于是故伎重演，将部队继续向兰封西撤，诱敌来追。
当时阎锡山因受奉军压迫，于10月18日退出石家庄，并于11月6日全线总退却，扼守井陉、怀来、雁门关一线要隘。11月13日，冯玉祥致电南京军事委员会，要求派大军北伐，解救阎锡山，并占领山东。但是毫无结果。
张宗昌在豫东战败后，为泄私愤，将国民军大将郑金声枪杀。他的这一轻率决定注定了自己的下场，五年之后，郑金声的养子（侄子）郑继成在济南火车站将其枪杀，为父报仇。虽然此事有一定的政治因素，但是张宗昌不守军服混战的游戏规则也是重要原因。
国民军的突然后撤，加上阎锡山失利的消息，使张宗昌认定冯部一定发生了内乱，于是从山东搜罗援兵，加上从豫东撤回来的部队共计12万人，统一由褚玉璞指挥，再度向豫东发起进攻。直鲁军吸取上次失败教训，将部队分为三路：右路以刘志陆为总指挥，辖潘鸿钧、贾济川、柴云升、王振、姜明玉等部，约五万人，由单县攻击考城；中路以徐源泉为总指挥，辖徐源泉、许琨、方永昌王栋等部，约五万人，由陇海路正面前进；左路以张敬尧为总指挥，辖张继武、张子铎、毛思忠、毛思义等部，约三万人，由夏邑经杞县向太康前进。
11月16日，直鲁军右翼刘、潘等部与刘镇华部接触，激战开始。大战三日，刘部不支，放弃考城西退。此次进攻直鲁军虽然声势浩大，但是各部因为屡受挫折，大多观望不前，不能协同。只有刘志陆部未经过重大打击，士气高涨而孤军冒进。冯玉祥发现了敌军这一致命弱点，仍然采取诱敌深入，各个击破的战术。
刘志陆部不顾另外两路友军的逡巡不前，于11月19日独自推进至兰封、考城一线，23日，与刘镇华继续大战于兰封以北的爪营。24日，冯军主力大举出击，韩复榘、石友三、马鸿逵、鹿钟麟、孙良诚等部兵分三路，将刘志陆部团团包围。经过激战，击毙潘鸿钧，俘获官兵两万余人，缴枪一万余枝，残敌向东溃逃。吉鸿昌、马鸿逵两部乘胜追击，将姜明玉部围困于曹县。姜明玉知道国民军绝不会放过自己，于是凭城死守。褚玉璞急派援军解救曹县，吉鸿昌首先转身击溃援兵，乘势占领了成武、单县、定陶、菏泽等地。然后集合各路部队于1928年1月31日奋力攻破曹县城，姜明玉城破自戕。
歼灭刘、潘之后，国民军韩复榘、石友三部于11月24日由陇海路正面东进。在野鸡岗与直鲁军一部遭遇，将敌击溃。25日，进至柳河附近，与徐源泉部相遇于张庄、赵老庄之间。将敌击退后进至李坝集，遇直鲁军王栋部，又一次打退敌军。26日，褚玉璞亲率卫队两千，至前线督战。韩、石两部借着大雾弥漫，继续猛攻，大破褚玉璞。12月1日，追敌至砀山一线。鹿钟麟部由杞县追击敌军至蓼堤岭、马头镇，歼敌一部，随后占领睢县。庞炳勋部收复归德，鹿邑。
此战前后不足十天，歼灭直鲁军主力近十万人，是为“第二次兰封大捷”。
12月2日，国民军继续东进，进取徐州。南路的何应钦部得知国民军的豫东大捷，也开始奋力北进，与张宗昌及孙传芳残部大战于徐州以南。
12月3日，韩复榘部又一次冲到徐州城下，占领了陇海路的徐州车站。但是因为后援不继，只好又退了回来。7日，鹿钟麟、石友三、庞炳勋、刘汝明各部才相继赶到徐州附近。于是冯玉祥命令韩复榘部由铁路正面，石友三部由铁路以北开始向徐州以北攻击前进。鹿钟麟部向萧县攻击，以同北伐军何应钦部取得联系，并抄击徐州之西南。
不久从津浦路北撤的孙传芳军郑俊彦、李宝璋等部退至徐州，赶来增援，并向国民军发起反击。双方的徐州之战甚为血腥，据孙军将领田韵清、潘振英事后的回忆说：“（孙军奋勇队，即敢死队）主要武器是短枪、长矛，冯军的奋勇队使用短枪、砍刀，刀矛相接，杀作一团，没有一个开枪的。”“每经过一段冲击，必先白刃相接，反复格斗，双方死伤奇重。大刀一亮就是冯军的反攻，长矛一竖就是孙军的突进。在战斗期间，彼此都不用号音，而用大刀、长矛来代表冲锋的号令，所谓打拉锯战和哑巴战。相持了七昼夜之久……”
12月16日，国民军攻占徐州，与北伐军何应钦部胜利会师。
冯玉祥在陇海路与张宗昌大战了三个月，将直鲁军主力消灭殆尽，张宗昌从此一蹶不振，为后来的第二次北伐奠定了重要基础。
正当国民军与张宗昌大战豫东之时，直鲁军孙殿英、谢玉田、袁振清等部趁国民军豫北空虚之际，袭占了卫辉、汤阴、淇县。京汉线上的孙连仲部暂时采取守势，与之相持。而长垣、延津、封丘、阳武、原武各县都遭到直鲁军及当地会匪的围攻，情况岌岌可危。
攻克徐州之后，冯玉祥立即调回各路主力，回援豫北。鹿钟麟、刘镇华部由兰封、东明渡河集中长垣、内黄附近；石友三部许长林师进驻新乡；韩占元军进驻滑县；郑大章骑兵渡河之后即从原武、阳武绕出滑县以东，沿途驱除会匪，并由浚县以东渡过卫河，向彰德（安阳）攻击。至1928年1月8日，孙连仲指挥各部全线总攻。克复彰德、淇县、汤阴、临漳各县，控制了漳河以北地区。刘镇华军于1月2日亦连克内黄、濮阳、南乐、观城等县。鹿钟麟与韩占元军于1月21日击破长垣以西滑县以东地区之敌军，俘获甚众。秦德纯军于2月2日攻克卫辉。至此，豫北平定。第二次北伐的通道顺利打开。