北京政变后，由于种种原因冯玉祥不仅未能实现救国救民的宏愿，反而受到各反动军阀的联合排挤和围攻，军事上节节失利，加上孙中山先生逝世带来的压力，使他陷入了失望、彷徨之中。在此之前由于他与孙中山先生及其他国民党人士有较多的往来，又在共产党直接和间接的帮助下，接受过苏联的军事援助，对苏联有一些认识，因此，1926年初，失意、彷徨的他决定远赴苏联，寻求救国救民的真理。
在赴苏途中，他结识了广州的国民党代表以及鲍罗庭等人，正式加入了国民党。5月9日，冯玉祥抵达莫斯科。在这里，他会见了苏联中央执行委员会主席加里宁、革命军事委员会主席伏罗希洛夫等苏联领导人，中共中央驻共产国际代表团领导人蔡和森也会见了冯玉祥，并对他及其随行将领阐述和解答了共产党的主张以及国民革命的意义。在苏联，冯玉祥还访问了工人、农民、士兵，参观了军校、农业部等单位。所到之处，无不强烈地感受到苏联十月革命后欣欣向荣的胜利景象。
苏联之行对冯玉祥后半生的转变有着巨大的影响，它使冯玉祥对孙中山先生联俄、联共、扶助农工的三大政策和国民革命有了进一步的理解和认识，也坚定了他继续参加国民革命的决心。冯玉祥认为自己在苏联找到了中国将来发展的榜样，并认识到革命要取得彻底的成功，“必须有鲜明的主义及正确的党为之领导”。因此，在莫斯科，他为国民军全体将士办理了集体加入国民党的手续。
1926年7月，轰轰烈烈的北伐战争开始了，冯玉祥闻讯十分感奋，他决定立即回国参加这场讨伐反动军阀的战争。1926年8月17日，冯玉祥秘密离开莫斯科回国。途中遇到了南口溃败后退入西北的一些国民军零散部队，冯玉祥便着手把他们重新组织在一起，鼓舞和激励他们重新树立起革命的信心。9月16日，冯玉祥抵达内蒙古包头附近的五原，与原国民军将领孙岳、方振武、徐永昌等相会，决定组织国民军联军，响应北伐。次日，冯玉祥在五原主持了誓师大会，发表宣言，宣誓就任国民军联军总司令。在宣言中，冯玉祥回顾了自己前半生为寻求救国救民之路所经历的风风雨雨，剖析和展示了自己从一个清朝士兵成长为民主革命者的历程，表明了自己的政治主张和打倒帝国主义、打倒军阀的决心。他在宣言中说：“玉祥本是一个武人，半生戎马，未尝学问，唯不自量，力图救国，无奈才短识浅，对于革命的方法不得要领。所以飘然下野，去国远游。及至走到苏联，看见世界革命起了万丈高潮。中国是世界的一部分，受国外帝国主义与国内军阀双重压迫。革命运动早已勃兴。又受世界的影响，民族解放的要求，愈加迫切。孙中山先生的三民主义与所领导的国民革命，即由此而生。于是我明白了救国的要诀已经由他开辟了道路。中山先生说的好，行易知难。我既是知道了，自然是刻不容缓地马上干起来。又因最近中国的国民从国民军退后，受压迫比以前更厉害。我的热血沸腾起来，情不获己，遂赶快回国，与诸同志上革命战线，共同奋斗。我这是没有办法而去，有了办法而来。走的时候，不是洁然鸣高；来的时候，不是什么东山再起。”
接着，他回顾了自己从滦州起义到北京政变乃至推翻段祺瑞执政府的经历，并且说：
“我虽然作过几点革命事业，我却没有鲜明的革命旗帜。因为我对于革命，只有笼统的观念，没有明确的主张。革命的主义，革命的方法，在以前我都没有考察。所以只有一点两点改革式的革命，而没有彻底的作法；我也赤裸裸的说出来，好使国人知道我所作的忽而是革命，忽而又不像革命，其缘故到底是什么一回事。就革命的观点上说，过去若说是一个中国革命者，是一个中山主义者，我都不配。至于马克思主义、列宁主义与世界革命的话，更是说不上了。不意当时有人说我是赤化了。现在看起来，真是惭愧！当时的冯玉祥，哪里够得上赤化！”
谈到中国军阀统治现状，他分析指出：
“军阀何以如此呢？军阀本身实在无力量，乃是帝国主义在背后支持。因此我们知道要想战胜军阀，必须要先打倒帝国主义，帝国主义者在中国压迫之甚，几使中国不能生存。工人农民及一切受苦受难的人，为什么这样苦？这样穷？就是帝国主义所给的。帝国主义的各国，强迫中国订下了许多不平等的条约，于是在中国有租界，有租界地，有海陆军驻扎权，有航行权，有领事裁判权，修铁路，开矿山，把持中国的海关，强制中国行协定关税。压迫剥削，不一而足。……如此，中国只得穷困，而且穷到死的地步！帝国主义经济的侵略，把中国弄穷了；又用政治的侵略，陷中国于危境。……其最厉害的，是利用中国军阀压迫民众；又嗾使军阀互相战争不已，以巩固其在华之权利，遂使民国成立十五年，年年都有战祸。已经被它弄穷了的中国，又加上十几年的战争，于是农民、工人、商人、学生、机关职员、新闻记者、士兵及一切民众，穷的穷死，其原因都在于此。”
面对灾难深重的国家和人民，冯玉祥立下了掷地有声的誓言，他说：
“痛苦的来源，已经求出来了。我们要解除这深切的痛苦，惟有推翻帝国主义的压迫。因此，我就投袂而起，与革命同志们共同担负这个使命。现在我所努力的，是遵奉中山先生的遗嘱，进行国民革命，实行三民主义。所有国民党一、二两次全国代表大会宣言与决议案全部接受，并促其实现。今后将国民军建在民众的意义上，完全为民众的武力，与民众要结合。军队所在的地方，工人组织、农民组织，均当帮助。并联合其他民众之团体，共负革命之责任。同时对于学生、教员、商人、机关职员、新闻记者各阶级之利益，均极力顾全。意义是解放被压迫之中国民族。以与世界各民族平等；解除军阀之压迫，使工人不受剥削，农民不受穷苦，商人不破产，学生有书读，教员及机关职员都有薪水发，新闻记者不发生生命的危险，以及其它人民的痛苦，均为解除。”
五原誓师，在中国的大西北燃起了武装讨逆的火炬，它有力地配合和支持了刚从广东开始的北伐战争。冯玉祥毅然作出五原誓师的果敢行动，是同他赴苏考察所受的影响分不开的，也是在冯玉祥军中工作的刘伯坚等共产党员努力推动的结果。它表明冯玉祥在思想上、政治上都踏上了一个新的起点。他所率领的国民军也从旧军阀部队中分裂出来，成为站在国共合作旗帜下的革命武装。
五原誓师后，冯玉祥立即着手召集回南口大战后四散各地的旧部。在认真分析了当时的敌我形势后他接受李大钊的建议，确定了固甘援陕、联晋图豫的方针，于10月指挥部队进军陕西，击溃了奉吴佩孚之令围困西安长达8个月之久的镇嵩军，解了西安之围。同时，冯玉祥故意在大余台、石嘴子等地布置设防，用虚虚实实的战术吸引了部分奉系兵力西进，以减轻南方北伐军的压力。
西安解围后，冯玉祥指挥部队乘胜追击，攻下潼关、商雒、同州等地。1927年1月26日冯玉祥进驻西安，命令各部陆续向东开拔，在关中集中，准备出师潼关，声援豫鄂。
3月上旬，国民军联军各部陆续集中关中。当时，奉军已进入河南许昌、郾城一带；在长江中下游苏、皖两省，北伐军与直鲁军阀联军以及孙传芳的军队，激战正酣；而同时，直系残部于学忠正勾结四川的杨森和湖北北部的反动军阀，阴谋偷袭由广州迁至武汉的国民政府，革命形势十分危急。3月19日，冯玉祥发布出师文告，命于右任、刘郁芬分任驻陕、驻甘军总司令，镇守后方；令刘镇华为东路军总司令，进军河北，其余部队分三路向鄂、豫、晋、绥四省出击。
4月底，武汉国民政府按北伐军统一编制将冯玉祥所指挥的部队编为国民革命军第二集团军，冯玉祥任总司令。5月6日，冯玉祥亲赴潼关指挥战斗。冯军与奉军在河南展开了激战。5月25日，冯军攻占洛阳。27日，攻克孟津。30日，冯军骑兵攻入郑州，并进一步向荣泽、开封方向追击。31日，冯军张华堂旅占领开封。6月1日，北伐军唐生智部也赶到郑州。6月2日南京方面来的北伐军也攻下了徐州。冯玉祥部与北伐军在中原胜利会师。此时，冯玉祥的第二集团军已发展至数十万人，成了北伐军的一支主力队伍。
也就是在此期间，传来了李大钊等人在北京被奉系军阀残酷杀害的消息。冯玉祥闻讯，异常悲愤，哭得十分哀痛。他为李大钊举行了追悼会，评价李大钊是“自‘五四’运动以来思想界的泰斗”，是“指导国民革命运动最忠实最努力和最有力的领袖”。他下令全军为李大钊致哀，并要求将士们将哀悼与怀念化作对敌人的义愤和消灭敌人的决心。
就在北伐战争节节胜利和全国工农运动迅猛发展的时候，以蒋介石、汪精卫等人为首的国民党右派势力开始从内部破坏革命的联合阵营，他们接连发动了“四·一二”和“七·一五”反革命政变，大肆屠杀共产党和革命群众。蒋介石还在南京另立了一个反动的国民政府，与武汉国民政府相对抗。由于各种复杂因素的影响以及历史和自身的局限，这一时期的冯玉祥尚未认清蒋介石等人的反革命真面目，因此，曾一度追随蒋介石滑向反共的歧途。另一方面，冯玉祥反对内战、力主北伐，以扫清反动军阀势力的决心一直没有动摇。正是在冯玉祥等人的坚持下，1928年4月，蒋介石在徐州再次誓师，接着，蒋介石、冯玉祥、阎锡山、李宗仁四大集团军分进合击，于同年6月底彻底打败了奉系军阀张作霖的安国军，占领了北京、天津等地。至此，“北伐大业”终告完成。