1926年初，冯玉祥通电下野之后，被动的处境并未得到改善（遭受直奉晋三方围攻，详情请阅本人博文《国民军与南口大战》），为减小目标，他决定出国游历。3月16日，从平地泉（今内蒙集宁）出发，启程赴苏联。23日，抵达蒙古库伦，与鲍罗廷、于右任会见，详谈国民军与国民党合作的问题。鲍罗廷动员冯玉祥加入国民党，不久老友徐谦也赶来，同冯一起赴苏，途中也劝说冯玉祥加入国民党。
5月9日，冯玉祥一行抵达莫斯科，受到苏联当局的热烈欢迎。冯玉祥参观了莫斯科列宁格勒等地的工厂、机关、学校、兵营，冯玉祥特别留意了苏联红军中的政工制度。这期间，冯玉祥还与加里宁、托洛茨基、伏罗希洛夫等苏联政要进行了会见。同时，共产国际派****党员刘伯坚做冯玉祥的工作，并得到冯的信任。由于当时冯玉祥的立场还不是很坚定，驻共产国际的****代表纷纷来访，为他讲解中国革命的问题。冯玉祥也意识到即使向直奉军阀完全妥协，自己依然摆脱不了困境。因此必须抗争到底。外部仍需要苏联方面军事上的援助，国内方面只有和国民党联合起来才有出路。于是在徐谦的介绍下，冯玉祥加入了国民党。
6月初，谭延闿、蒋介石来电邀请冯玉祥赴粤会谈。冯玉祥也迫切希望广东方面尽快北伐，以缓解革命军的巨大军事压力。17日，冯玉祥派刘骥、李鸣钟为全权代表南下广州接洽。刘骥到广州后，与国民政府商定，冯玉祥完全接受三民主义，从北方协助北伐；而希望国民政府方面从经济上给予支持。8月，国民党中央任命冯玉祥为国民军总党代表，国民政府委员，军事委员会委员。
进入七八月份，直奉联军对国民军南口方面的攻势越来越猛烈，李大钊及国民军将领不断致电冯玉祥，要求他尽快回国。8月14日，南口失守，国民军西撤，冯玉祥决定立即回国。临行他向苏联方面提出军援的要求，斯大林答应了提供40万人的军事装备。冯玉祥可谓满载而归。8月17日，冯玉祥从莫斯科启程归国，总顾问乌斯曼诺夫和****代表刘伯坚随行。9月16日，冯玉祥抵达绥远五原。
国民军在南口战败，从察北——南口——晋北，战线两千多里，全线向绥远、甘肃撤退。尽管事前有所准备，是有计划、有步骤的撤退，但是由于张之江难负众望，领导不力，大部分中下级军官和士兵对西撤的目的不清楚，严重影响了士气；再加上指挥混乱，敌人间谍破坏，终于导致了一场大溃败。毫无秩序，损失惨重。
绥远地区多是荒漠戈壁，人烟稀少，部队无法补充给养，军纪无法维持，使士兵大批失散。原国民军二军弓富魁部在绥远还有抢劫行为。陈希圣部徒步经过察北隆盛庄以东时，遇到二三百地方武装的阻击，竟致使成旅的军队溃散。晋军商震利用他与国民军内部人士的关系，向各部分途拉拢，对其分化起了很大作用。韩复榘、石友三、陈希圣率部退到包头后，与他接洽被晋军收编。郑金声、张自忠、张万庆等也先后投降了山西。张之江、鹿钟麟、宋哲元率部到包头后仍准备西撤。此时，刘郁芬来电称，兰州之围已解，欢迎各部入甘，共图大计。因此，张之江决定先到宁夏，鹿、宋二人移驻五原，防守绥西。但是，上述布置正在进行之中，国民军领导人又听到谣言，说大部退往甘肃前途将有不测，又使各部均徘徊于绥西一带。
此时，国民军所余诸部大多残破不全，只有一军刘汝明部及三军徐永昌、五军方振武等部保持了较完整的建制，但也严重减员。全军除驻甘肃的两个师外，包括韩复榘、石友三诸部尚不满5万人。
就在国民军即将崩溃瓦解的关键时刻，冯玉祥归来了。他犹如一块巨大的磁石，立即稳定了军心，原本四分五裂的大小将领们瞬间被吸附过来，重新团结在他周围。我们都知道，冯玉祥的带兵方式在当时来说非常独特，具有巨大的向心力。那些衣衫褴褛，面目黧黑的官兵们亲眼看到他们的总司令，几乎个个高兴地泪流满面，就像久别父母的孩子终于有了依靠，强大的国民军又一次毅然崛起。
在从库伦返国的途中，冯玉祥先后与王镇淮、黄中汉、宋式颜等部将及先期回国的于右任相遇。他们都是见部队衣食无着、军纪已废，离队赴苏另想办法的。这使冯玉祥非常震动，没有料到军心如此动摇，简直到了土崩瓦解的局面。但是，他没有丧失信心，并一一把他们劝回同行。不久，冯玉祥一行受到宋哲元率领着手枪队的迎接；9月4日，在距大青山约100多里的地方，又遇到了鹿钟麟、邓哲熙、过之翰等国民军一军将领。
9月16日下午，冯玉祥赶到了绥远五原县，当即与国民军一军诸将领、国民军二军的弓富魁、国民军三军的孙岳、徐永昌、五军方振武见了面，并召开了会议。在会上，各部领导人一致同意重组国民军联军，计国民军一军、二军邓宝珊、三军徐永昌、五军方振武、六军弓富魁（弓富魁率部退至五原后，原国民军二军将领拟他为二军军长，弓富魁以岳维峻尚在，不敢自专，故被冯玉祥任命为六军军长），推冯玉祥为国民军联军总司令。冯玉祥当即发表了誓师宣言：
“玉祥本是一个武人，半生戎马，未尝学问，惟不自量，力图救国，怎奈才识短浅，对于革命的方法不得要领，所以飘然下野，去国远游。及至走到苏联，看见世界革命，起了万丈高潮，中国是世界的一部分，受国外帝国主义与国内军阀双重压迫，革命运动早已勃兴；又受世界的影响，民族解放的要求，愈加迫切。孙中山先生的三民主义与所领导的国民革命即由此而生。于是我明白了救国的要诀已经由他开辟了道路。中山先生说的好，行易知难。我既是知道了，自然是刻不容缓地马上干起来。又因最近中国的国民从国民军退后，受压迫比从前更厉害，我的热血沸腾起来，情不获己，遂赶紧回国，与诸同志上革命战线，共同奋斗。我这是没有办法而去，有了办法而来，走的时候不是洁然鸣高，来的时候不是怎么东山再起。现在当归国之始，有些必要的话，掬诚以告国人。
我是生在工人的家庭中，父为瓦工，贫无立锥，完全是无产阶级的人。自幼失学，及长入伍当兵，逢着庚子年，八国联军攻打中国，结下辛丑条约。我受了极强烈的刺激，愤政府失败，改革的思想于是萌芽。后来受了革命的影响，也形成了推倒满清的志愿。辛亥武昌起义，我与张之江、李鸣钟、张树声、韩复榘诸同人，同了王金铭、施从云、白亚雨诸烈士举兵响应，而有滦州之役；不幸为王怀庆所欺，功败垂成，王、施、白诸烈士即时成仁就义。我同张、李、张、韩均被递解回籍，仅以身免。民国以后，我又出来治兵，苦力经营，以成陆军第十六混成旅。袁世凯叛国称帝，我在四川与蔡松坡联络，并助成********。民六张勋复辟，我正去职，养病西山，疾到廊坊，先马厂誓师而起兵，进攻北京，击溃辫兵。民七南北军战于长岳，十六混成旅停兵武穴以牵制南下之军。民国十三年，曹锟贿选窃位，吴佩孚骄纵横暴，用武力统一政策以乱川扰粤，而直鲁鄂豫受其直辖，为祸更烈，并逞其凶残，残杀工人学生，尤为国人所共弃，后来又动全国之兵，攻打奉天，穷兵黩武，涂炭生灵。我与胡景翼、孙岳、均痛心疾首，不能不取断然行动，遂率师回京，举行首都革命，倒曹败吴，并驱逐帝制余孽溥仪，以完辛亥革命未竟之功。这一次的意义，一是讨伐贿选，为中国人争人格；二是反对武力统一，用免兵祸；三是铲除帝制祸根，免得再闹复辟的乱子；四是开远东民族解放之局面。当时段祺瑞以革命政府相标榜，我们看着他遭过失败，养晦多年，当有觉悟，所以请他出来，此后，仍是引用私人，败行失政，解决金佛郎案，使国家受莫大的损失。国人至今，痛恨他的革命政府完全是假的。对于民众，不但不解放，而且严重的压迫；弄到后来，演成‘三·一八’的毒杀案子，枪击学生，出了极暴烈的惨剧。政府成了杀人的政府，岂有再拥护他的余地?所以有倒段之举。
以上这些事实，都是从革命路线上而作的。他人不知，乃斥为几次倒戈，责我为惯于逼宫。这是由于不明白革命，所以我特写述出来，好使国人对于我有明确的认识。有人骂孙中山先生，说孙中山算是有点革命癖，无论走到什么地方，就是要革命，若是他的儿子孙科当了大总统，他也要革命的。在他人以为这是骂孙先生，其实孙先生的伟大，正是在此。一个革命者，只要看见统治者做的不对，就得要革命，无论他是亲也好，长官也好，站在民族的意义上，这些个人私情，一概都顾不得。吴佩孚张嘴闭嘴所抱守的纲常名教，尽可由学究们放在纸堆里保存，不能拿到二十世纪的民主国里害人。但是有一层，我虽然做过几点革命事业，我却没有鲜明的革命旗帜，因为我对于革命，只有笼统的观念，没有明确的主张。革命的主义，革命的方法，在从前我都没有考察，所以只有一二点改革式的革命，而没有彻底的作法。我也赤裸裸地说出来，好使国人知道我做的忽而是革命，忽而又不像革命，其缘故到底是怎么一回事。就革命的观点上说过去，若说是中国革命者，是一个中山主义者，我都不配，至于马克思主义、列宁主义与世界革命的话，更是说不上了。不意当时有人说我****了，现在看起来，真是惭愧。当时的冯玉祥，哪里够得上****了?不但骂我的不知****是什么；就是我自己，亦不知道什么是****。骂我的人，也说不出根据来，只说不该与苏联亲善。我想世界各帝国主义者，用不平等条约压迫中国，制中国的死命，只有苏联自动的取消不平等条约，以平等待我们民族，自是引起我们的好感，使我们彼此亲善。若对于以平等待我的人而不能与之亲善，反去巴结以奴隶待我们的国家，这是何等亡国心理?这是要请国人明白的。至于吴佩孚乱造谣言，说我与苏联结了什么密约，尤其荒唐之语!我向来痛恶卖国贼与外国人结密约，岂有躬身自蹈之理?苏联把种种不平等的条约自动地取消了，哪里有再结不利于中国的条约之理?况且我个人的性格所在，绝不屑作这种鬼祟之事。如果有什么密约，也不能久于瞒人什么密约，什么条件，何以绝无所闻?若说苏联帮助中国革命，有所怀疑，要知道苏联是以解放世界上被压迫者并扶助弱小民族为己任；主义在此，什么不利于人的事都做不出来。吴佩孚肚子里比谁都明白，他明白冯玉祥不是一个结密约之人，无论如何做不出这种事来的。他又知道离****离的很远，够不上戴这帽子，而他偏要说什么密约，又是什么讨赤，完全是骗人来共同反对国民军，以泄他的私忿。大家不知道随声附和，实在上了他的大当。吴佩孚先是号召的所谓讨贼战争，后来忽一变而为反国民军的战争，国民军退天津，退北京，一再让步，谁知你越让，他越攻；军阀何以如此呢?军阀本身，实在无此力量，乃是帝国主义者在背后主持，因此我们要想战胜军阀，必须先要打帝国主义。帝国主义者在中国压迫之甚，几使中国不能生存。工人农民及一切受苦难的人为什么这样穷，这样苦?就是帝国主义所给的。
帝国主义的各国，强迫中国订立了许多不平等条约，于是中国有租界，有租借地，有海陆军驻扎权，有航行权，有领事裁判权，修铁路开矿山，把持中国的海关，强制中国行协定关税，压迫剥削，不一而足。例如抽关税，只能值百抽二五，使中国国库少收入，整理财政无从着手；而最大的害处，是在阻碍工商业之发展，制中国经济之死命，使他们的货物尽量输入，使中国的原料贱价输出。于是中国每年进口货超过出口货，其数在三万万两银子之谱，赔款及外债，本息偿还，单是在关盐两税项下拨付的每年就是九千八百万元。至于他们在中国经营的矿山轮船，各种工厂，各地银行纸币所吸收的大批现金更是无算。又因关税不自主，不能保护国货发展，致使洋货遍中国，吸去的现金不可胜计。如此中国只得穷困，而且穷到死的地步!帝国主义的侵略把中国弄穷了，又用政治侵略陷中国于危境。东交民巷的公使团是何等的强横。稍微明白中国政局的，没有不知道的，他们对于中国的内政动辄加以干涉。如去年大沽事件，干涉国民军，即是一例。其最厉害的是利用中国军阀压迫民众，又嗾使军阀互相战争不已，以巩固其在华之权利。遂使民国成立十五年，年年都有战祸。已经被他们弄穷了的中国，又加上十几年的战争，于是农民、工人、商人、学生、机关职员、新闻记者、兵士及一切的民众穷的穷死，其原因都出于此。苦痛的来源已经求出了，我们要解除这深切的痛苦，惟有推翻帝国主义的压迫，因此我就投袂而起，与革命同志们共同担负这个使命。
现在我所努力的，是遵奉孙中山先生的遗嘱，进行国民革命，实行三民主义。所有国民党一、二两次全国代表大会宣言与议决案全部接受，并促其实现。今后将国民军建在民众的意义上，完全为民众的武力，与民众要相结合。军队所在的地方，工人组织、农民组织、均当帮助，并联合其他民众团体，共负革命的责任。同时对于学生、教员、商人、机关职员、新闻记者及各阶级之利益均极力顾全，意义是在解放中国被压迫之民族，以与世界各民族平等，解除军阀之压迫，使工人不受剥削，农民不受穷苦，商人不破产，学生有书读，教员及机关职员都有薪水发，新闻记者不发生性命的危险，以及其他人民的痛苦均能解除。至于政治主张，我是一个国民党党员，又是国民政府委员之一，一切由国民党决定，国民政府主持。我惟有与诸同志用集合全体的力量履行就是了。谨此宣言。”于民国十五年九月十六日。
9月17日，冯玉祥在五原举行了就职誓师仪式。会场设在城西县政府西首广场，临时设一土台，台下二丈见方，顶一丈见方，高六尺，坐北朝南。参加大会的有国民军一、二、三、五、六军将士一万余人，主要将领有孙岳、方振武、鹿钟麟、宋哲元、弓富魁、何其巩、石敬亭、过之翰、邓宝珊、张允荣、刘金忱、席液池、佟麟阁等。于右任、刘伯坚、乌斯曼诺夫、史可轩等也参加了大会。与会的的官兵衣着破烂不堪，五颜六色，有的破鞋破袜，有的领章肩章都没有了，还有的带着奉军的皮帽子，有的戴直军的布帽子；枪械装备更是残缺不全，七零八落。但是队列整齐，精神焕发，一扫自南口败退以来的颓靡之气。
冯玉祥接受于右任代表国民党中央执行委员会授予的党旗，宣布国民军全体将士参加国民党，成立国民军联军总司令部，就任联军总司令职，并当场宣读了誓词：“国民军之目的，以国民党之主义，唤起民众，铲除卖国军阀，打倒帝国主义，以求中国之自由独立，并联合世界上平等待我之民族，共同奋斗，死生与共，不达目的不止，此誓。”此誓词随他“就任国民联军总司令职通电”一同向全国发出。会后，他和于右任打着红旗在五原的街上游行。这就是著名的“五原誓师”。
“五原誓师”及此后军事政治整编，使国民军从北洋旧军队变为一支有比较明确政治纲领，接受并实行孙中山三大政策，站在国共合作的国民党旗帜下的一支革命武装。冯玉祥也由此成为革命阵营中的一员。从此，国民军又获得了新生，并逐渐发展到鼎盛时期。冯玉祥对中国政局的影响也越来越大。
五原誓师振奋了国民军的士气。据参加过誓师的宋聿修回忆说，誓师后，国民军的失败情绪一扫而空，精神重新振奋起来，上下都充满希望和信心。此时，国民军各部分散在绥远各地，五原仅驻有国民军一军张凌云、冯治安等旅及国民军二军、三军、五军诸部。国民军一军除驻在宁夏附近临河、澄口的刘汝明，在平罗的孙连仲等部还保持比较完整建制（但也严重减员）外，大部均已残破不全，枪械不整，衣衫褴褛。有的团只剩下二三百人，有的旅只余四五百人。各部彼此之间又争人争枪，动辄动武。此时，冯玉祥显示了极高的威望和巨大的人格魅力。他只凭二句话，就将一部部如乱麻般的队伍重新编排就绪。这让苏联顾问乌斯马诺夫惊叹不已。此外，冯玉祥归国的消息不胫而走。许多离散的士兵纷纷三五成群携枪械归队。
此时，被晋军收编的韩复榘驻在归化，石友三及其他诸部驻在包头。二人所部不仅兵力未损，还收容了国民军的许多零散队伍，实力反而有所扩充。冯玉祥先后给他们写信并派人劝说，要其回归国民军，并打算亲自去包头做其工作。此前，张之江只身离五原去了宁夏，这时也乘民船循黄河赶回，阻止冯玉祥去见韩、石二人，怕有不测。然而不久，石友三就只身到五原向冯玉祥表示忏悔。10月8日，冯玉祥到包头并受到石友三、韩占元、韩德元等部的迎接。韩复榘也派代表来承认过去做错，表示今后完全听冯玉祥的命令。他们随即带部归队，从而使国民军实力迅速恢复，军威复振。尽管如此，韩复榘、石友三的降晋之举成为了冯玉祥军事集团致命的裂痕。
冯玉祥迅速组织了国民军联军总司令部，以鹿钟麟为总参谋长（后易为石敬亭），李兴中为参谋处长，陈连富为副官处长，徐廷瑗为军务处处长，宋式颜为军械处长，过之翰为军需处长，张吉墉为军法处长，张允荣为内防处长，薛笃弼为财政委员会委员长，石敬亭为政治部长，刘伯坚为副部长，又聘乌斯马诺夫为军事顾问。此外，各级部队也分派党政人员建立政治处，增加政治工作。与此同时，冯玉祥和于右任等着手组织国民党组织，并于1926年9月27日召开中国国民党国民军联军全军代表大会，成立最高特别党部。冯玉祥在会上做了有关国内外形势报告。大会还在苏联顾问提议下，让工人、学生、士兵加入了主席团，大会选出方振武、刘伯坚、任佑民、赵守珏、王一飞、张绍丰、续培模、张允荣、武勉之、弓富魁、石敬亭等十一人为执行委员，冯玉祥、徐谦、于右任、刘骥、史宗法等五人为监察委员；卢召亭、张树声、孙金宣、何其巩、白龙亭、张海如、李宝铨等七人为候补执行委员；刘廷森、刘仁辅、李鸣钟三人为候补监察委员。大会还发布了帮助发展地方党务和民众团体的电令。9月30日，国民军在五原又举行阅兵及授旗仪式。冯玉祥以联军总司令的资格，接受国民军联军最高特别党部发给之党旗，并宣读誓词：“……此后誓本孙中山先生之主义，联合世界上以平等待我之民族，促成国民革命之完成”。此后，冯玉祥还被任命为国民政府委员和军事委员。
此时，国民军联军各部所遇到的最大的困难是给养供给。军队不仅粮食无着，冬衣问题又迫在眉睫。广东国民政府拨百万元但汇兑困难，一时还无法收到。所以，总司令部成立后，冯玉祥集中全部精力筹措饷项，使之点滴归公，以渡难关。刘郁芬、薛笃弼从甘肃先送来十万元及万件冬衣，此后，又不断接济款物。张允荣从库仑带来七万元。王瑚送来修筑包宁铁路款数万元。当地的一地主王英捐献了数万头羊。国民军以羊肉为军粮，羊皮做军衣。无论官兵一律穿带血的羊皮统。为此，冯玉祥委任王为五临磴护路司令。到1926年底，苏联答应的军援也陆续运来。此外，商震也应冯玉祥的请求，给了国民军少许接济。同时，冯玉祥及国民军联军将士在中国共产党人帮助下，加强政治思想工作，以参加国民革命的精神相激励，千方百计，克服困难，终于渡过了难关。
国民军在新败之余，军纪急需整顿。10月2日，冯玉祥发出整顿军纪的通令。通令称：“为令行事，照得军行所至，保民为先，声誉之事，纪律为重。沿途经过地方，必使秋毫未犯，市民不惊，方为爱国爱民之好军人。本人虽因前次转进仓卒，纪律不免稍有堕落。自本司令宣布既往不咎之后，各官兵尚能恪守纪律，不扰商民。而现在各部，正在开动间，沿途兵站，业经预备，对待商民，自应和气，以保我军旧日令名，诚恐有一、二害群之马，偶出范围，强用纸币等情形，影响全国名誉，实非显浅。为维持行军纪律，应由师旅长妥派明密稽查，详细查考。为严密起见，业由本总司令部派出密查多员，沿途随队查察，一经查报，即按情节轻重，分别治罪最要者。此官长不尽责任者，定当连同治罪，决不姑宽。为此令仰该师，转饬遵照，并对目兵，详细讲解，使人人了解此意，勿蹈法网为要。此令。”
10月5日，冯玉祥又发布禁令三条：1，无论行军驻军，宿站尖站，严禁官兵私人民宅商号；2，娼寮，酒馆及戏院，为最易惹是非之地，必须严禁官兵入内，滋生事端；3，官兵无事，不准外出，如兵士必须外出者，须有长官带领”。为执行以上三条，各师旅均挑选百名官兵，组成执法队，切实维持。”同时，他又颁发行军禁令五条：1，严禁割放民间青苗，2，严禁强拉民间牲畜；3，严禁打掠民间牛羊鸡猪，4，严禁无故放枪；5，严禁私夺友军枪支马匹。”
冯玉祥所发布的上述军令，基本上得以执行。他在此间的日记，多处记载其有关军纪的讲话。11月25日，他在磴口枪决一“自印陆军少将衔名片，迹近招摇”的军官。26日，他又枪决了刘建寅，因其“到处扰民，拐人妇女”。经过整顿，国民军联军大部军纪得以恢复。
国民军联军最大的变化是，全军自上而下建立了由总司令部领导的政治工作制度。冯玉祥为此公开提出了军队政治化的口号。总司令部设政治部，由副部长刘伯坚负实际责任，下设组织、宣传、总务三处。张允荣兼组织处长、刘伯坚兼宣传处长，任佑民任总务处长。各师旅均建立相应的政治部。为了培养政工干部，冯玉祥把到五原的干部学校学生200多人，编为军事政治速成学校，以张允荣为校长（后改为赵守珏），刘伯坚为教育长，开始进行政治教育。苏联顾问和任佑民、王一飞任教官。课程有国际国内形势、三民主义、国民党史、党章、帝国主义论、苏联军队的政治工作，国民军史等。该速成班开办约两个月，学员毕业后分别派到各师旅做政治工作，与此同时，并很快成为政治工作的骨干。冯玉祥还派警卫团团长携本人及刘伯坚亲笔信去北京，请李大钊同志派遣政工人员。李大钊接到信后，派共产党员方仲如到包头与冯玉祥接洽，同时将冯来信迅速报告****中央。****中央派陈乔年去包头了解联军情况，并与冯玉祥、刘伯坚会晤。此后，****由国内外陆续派遣了200多名共产党员、共青团员去国民军联军工作。其中，由莫斯科去的有邓希贤（邓小平）、李林、肖明、王炳南、李大亲、潘自力等，由北京、广东调去的有方仲如、贾宗周、李世乐、刘志丹、阎揆要、唐澎等。中国共产党人及共青团员在国民军联军中工作认真负责，直接加强了军中政治工作的开展。
在中国共产党人的帮助下，国民军联军制定并颁布了《国民军联军政治大纲》，大纲内容包括国民军联军的宗旨政治工作目的，工作体制及工作方法等内容。与此同时，徐谦也向国民党中央提出了《开始西北国民革命军党务工作计划》。9月11日，国民党中央执行委员会常务委员会举行的第56次会议，讨论并通过了此计划，并决定由李石曾担任西北国民革命军总政治部主任。但是，李石曾未曾到任。此后，国民党中央派遣了简又文、郭春涛、邓飞黄等人到国民军中作政治工作。其中，郭春涛等对冯玉祥日后的政治倾向有重大的影响。
国民军联军政治工作机构的建立，使政治工作得以广泛开展，并使军队面貌发生了重大变化。《国际歌》、《打倒列强歌》、《少年先锋队歌》等革命歌曲在军中到处传唱。因此，国民军一军中的原基督教的影响进一步被削弱。但是，冯军的三民主义宣传在此时仍带有基督教说教的味道。
国民军从南口撤退后，阎锡山就部署晋军全力向西北追击，以夺取绥远。其右路商震三个旅在大同丰镇间集结后，沿京绥线向卓资山、归绥进发。左路谢濂指挥三个旅分经右玉、杀虎口和偏关向绥南的涼城、和林前进，联系右路主力围击归绥。另外，由王嗣昌率四个旅集于大同、怀仁、天镇等地，名为第二线准备，实际上是为了警戒奉系的后蹑。
国民军撤出了张家口后，奉系及直系为抢占察哈尔曾一度发生较严重的摩擦。但是，由于国民革命军北伐到达湖北，直系不得不将主力南移并把察省全盘让给奉军。此后，奉军兵锋直指绥远，阎锡山顿感威胁。阎曾电告奉军不必再行前进。这实际上告诉奉张，不要染指绥远。为此，张作霖不得不电告奉军参谋长于国翰，要奉军追击队伍以进至察哈尔边境，截断察、绥、张、库交通线为止。尽管如此，阎锡山见奉军已沿平汉线南下，直抵豫北，自己已失去了直军的配合与依托。山西已实际处于奉系两面包围之中，更增加了对奉方的疑虑及畏惧。奉方为拉拢阎锡山，派张学良、韩麟春于9月4日到太原会晤阎锡山，商定绥远地盘归山西，西北由晋军独立负责处置，必要时再请奉军帮助。9月8日，商震被任命为绥远都统。
此时，国民军虽败退到绥远，但仍有一定实力。晋军尽管招降了韩复榘、石友三部，但他们是以不与国民军开战为条件才接受改编的。二部名为二师，实际约有四师之众，分驻在归绥、包头，实际上把晋军与国民军分隔开来。在此情况下，阎锡山与商震认识到，自己一时既不能把韩、石二部消化掉，又无法真正消灭国民军，故有意开始缓和与国民军的关系。阎锡山历来以维持地盘为首要战略，力图同其盟友及敌人均保持相当的距离与关系。他认为保留国民军将有利于自己与各方军政势力周旋。商震素与冯玉祥等人有旧，更不想与国民军彻底决裂。所以，阎、商秘密派人与鹿钟麟等谈判（一说鹿曾到太原与阎锡山秘密会见），只要国民军把绥远交给晋方并保证不进犯山西，就允许其暂时在此休整。晋方还表示，如果和平接收绥远，将以晋军掩护国民军，并资助其退于宁夏、甘肃。双方正在交涉之时，冯玉祥从苏返国。
冯玉祥在归国途中，仍视阎锡山为敌，曾致电国内称，他回来后，要分三路进兵，一路由甘肃入陕，由陕入汉中或出潼关；一路入山西攻取太原，出娘子关或紫荆关；一路由京绥路出南口取北京。但是，他回国之后，才知道上述计划是不现实的，迅速改变了对晋的策略。
首先，冯玉祥为使韩复榘、石友三等部回归，主动与晋方谈判。10月8日，他到达包头后，立即电告商震，随即派人与他联系。商震也派二个代表来晤谈。此时，冯玉祥想拉商震脱离阎锡山与国民军合作，并为此在宣传上造了一些声势（在归绥及包头街上贴了很多欢迎商启予编为国民革命军的标语），但没有收到什么实际效果，还使商震十分被动。为此，冯玉祥在日记中记述有“商启予因环境关系，尚不便表示也”；“连日与商启予接洽，困难之点极多……”等语。奉张闻知冯玉祥在绥远主掌旧部，国民军军威重振，特派张学良到太原对阎锡山质问，且坚决要派奉军入绥，与晋方共同解决国民军。此时，阎锡山见国民军已与广东革命政府联合，直系已处于土崩瓦解之际，更主动对革命阵营示好。他的驻京代表曾向李大钊表示：“晋阎决与国民军合作，至时彼惟从党令动作，但此时幸为严守秘密云云。”此时，阎锡山向冯玉祥提出两个办法，一是暂时移韩、石诸部于山西省内，作为正式晋军改编，加以掩护；一是在绥远各国民军应先期退入宁夏、甘肃，为拒绝奉军假道，让晋军进占绥远。是时，国民军将领对今后的行止战略有两种意见；一是主张由五原回师南口，进攻北京；一种意见则主张挥师陕西，出兵潼关，与北伐军会师中原。国民军联军总司令部为此尚在讨论之时，晋方的态度对日后战略的制定有一定影响。
国民军转战数月，喘息未定，械弹两缺，急需休整，如果东进，不仅难以应援西安，一时又不能与北伐大军会师，更难以维持与晋方的关系。如果节节西退，既可满足晋方的要求，又可增援陕西。此时，李大钊、李石曾均派人送来密函，叙述北京一带奉系的布防情况，并建议国民军出宁夏、潼关，会师北伐。所以，冯玉祥与各部研究后，接受了李大钊的建议，制定了固甘援陕，联晋图豫的战略方针。
阎锡山见此，也以晋军秘密准备参加国民革命为说词，与国民军化敌为友，不仅没有阻拦韩、石等部的回归，且发给其两个月的军饷及冬服。国民军也得以在绥远从容休整，然后，才陆续西进。冯玉祥为此曾致电全军各部，对此战略加以说明：“一、甘肃为我军之根据地，甘陕比连，表里相依，唇亡齿寒，关系甚重，故解西安之围，即所以解甘肃之围，亦即巩固我军根据之地；二、嵩匪受吴指挥，围固困西安数月于兹，……慰陕人云霓之望，援兴綦挞伐，义不容辞。三……我军与国民革命军，共信中山主义，改造时局，既已献身党团，遑计目前安逸。望我官兵，共明此义，虽身处艰困之中，与陕中二三两军，戮力同心，迅扫敌氛，应益奋英武之气，庶可早与党军联络声援，告成大业也”。