国民军二军的溃败，使国民军其他诸部面临更加严重的危机。
1926年3月，国民军虽然仍在冀东滦河西岸及津南沧州一线，分别与奉军、直鲁联军对峙，但日益困难。这主要是由于弹药奇缺，急需补充。2月6日，苏联给国民军运送枪械的轮船奥利格号在大沽口外为奉军海军军舰所阻，被迫返回海参崴。3月20日，另一艘运送军火的苏联轮船又在大沽口外被奉军截留。国民军采取了各种筹集弹药的紧急措施，但仍解决不了根本问题。
与此同时，帝国主义也公开对国民军施加压力，协助奉军、直鲁联军进袭大沽口。为了抵抗奉军的进攻，国民军在大沽口外敷设水雷，但遭到日本帝国主义的无理干涉，从而发生了“大沽口事件”。奉军乘帝国主义威胁国民军之机，下达了对国民军的总攻击令。
3月15日，吴佩孚任命靳云鹗为“讨贼联军”副总司令兼豫省省长，命他率十个师向华北用兵。3月16日，直鲁联军分三路再度对国民军发起进攻。
此时，王士珍等发起了和平运动。这是冯玉祥在幕后活动的结果。国民军领导人企图以此再开展对直系的议和活动，并乘机收缩战线。
3月19日，国民军在全线分别向直鲁联军及奉军发动进攻，在连连得手之后，突然在一夜之间将主力全线撤退。在津浦、京奉两铁路线的国民军尽数退往北京方向，驻天津各部也全部撤往京郊。20日，国民军将领张之江、李鸣钟、马福祥、宋哲元等联名通电，表示愿意遵王士珍等人15日电，将军队撤回原防地点。这是国民军在拥护王士珍等人和平通电的名义之下，为保存实力而采取的撤兵战术。国民军一军韩复榘部退至高碑店，郑金声部退
至密云、怀柔、顺义；唐之道部退至通县。26日，宋哲元部自承德退往多伦。3月20日，奉军攻占滦县。21日，直鲁联军攻占马厂。22日，国民军将领又发通电，再一次表示响应王士珍等人主张，以示“专力开发西北，不与人争”。王士珍等人当即将国民军将领的通电转发给吴佩孚、张作霖等，请各军速撤回原防，务勿追击，静待和平解决；并再次致电吴、张等，呼吁和平。同日，王士珍等还致电阎锡山、孙传芳，请劝吴、张停止军事，以安大局。但是，直鲁联军于23日截击了国民军后撤部队并占领了天津，从而使王士珍等人的和平运动失败。3月26日，热河为奉军占领。
此时，国民军领导人经过争论后，决定暂守京师，计划以十二万兵力固守北京，企图再以首都中央政权为筹码，向直系再做求和的努力。
国民军一军退守京兆，虽然是出自保存实力的目的，但总体说来是投降妥协战略思想的具体体现，是其向奉直军阀乞和活动的组成部分。国民军领导人，没有坚决抵抗奉直军阀联合进攻的决心。实际上，奉系军阀已经大伤元气，经孙传芳、郭松龄反奉战争损失的兵力及武器，超过了前两次直奉战争的总和。张宗昌与李景林虽然在表面上还能与奉系保持一致，但实际上已心怀异志，不再完全充当张作霖的鹰犬。此外，奉系在经济上发生严重危机，1925年所发行的不能兑换“奉票”达五亿一千三百七十二万三千元，使财政金融几近崩溃。为此，奉系敛财专家王永江（奉天省长兼财政厅长）坚决辞职。吴佩孚的实力更今非昔比，其再得河南之后所收编的军队多为乌合之众，几乎没有什么战斗力可言。直鲁联军也是草草重新组编，军心不稳。然而，从冯玉祥下野开始，国民军的战略就对士气产生了不良影响，其大规模退却更使将士对前途感到悲观。国民军三军将领徐永昌在日后总结说：“按其时我们虽系两面作战，但对方均已残破（李景林新败残余无几，张鲁军尚须对南来的孙传芳军，而奉军则因郭松龄叛变，元气大损），并非奉直有力量战胜我方们，只是我们忘记自己的力量，不知应用；同时，糊涂地高估敌人，又不能运用内线作战，合力予敌以打击，终于自己作了这次无目的无结果的大撤退。”
冯玉祥下野后，孙岳基本上是追随国民军一军的攻守战略。
1926年2月9日，他率国民军三军将领通电讨伐吴佩孚，并请段政府起用冯玉祥为讨逆总司令，以资统帅。张之江派人赴奉求和时，孙岳也派人到沈阳活动。2月底，直鲁联军北上发动进攻后，孙岳与李烈钧一起到青县督战。但是，由于他体弱气衰，又鉴于对时局不乐观，情绪非常低落。这非但不能鼓舞士气，反而对将士心理产生了不良影响。此时，他已无能力督责全军，各将领偷闲取巧，三军已丧失抵御敌人进攻的能力。
3月21日，国民军退出天津。同日，孙岳通电声明因八国通电加辱及政府惨杀学生，决自卸直隶督办职。三军也随一军撤离天津。此时，三军分驻津南及冀南各地。孙岳邀请前第四师师长何遂出任三军副军长，让他代己收拾所部。3月26日，何遂命令各部到长辛店附近集中，但只有庞炳勋、门炳岳、耿纯瑕等旅遵命到良乡，其余刘廷森、黄铭香二补充旅驻密云；袁廷杰旅仍驻保定，梁寿恺仍驻大名，三军总部卫队团及徐永昌第一师驻京西大灰厂。此时，各方对三军各部拉拢分化。吴佩孚数次给徐永昌来函电论关系，谈时局，讲合作。段祺瑞也邀徐永昌与他晤谈，并送给徐两万元，意要徐为己所用。徐永昌虽未被所动，但其他诸部大部为吴佩孚收编。国民军撤离北京后，三军庞炳勋第二混成旅、顾占鳌第七旅、门炳岳第八旅、梁寿恺第一补充旅、袁廷杰第十五混成旅均先后投吴。
1926年2月10日，国民军四军到保定驻防，实力有所扩充。魏益三将所部编为一个师（师长魏益三自兼），另一独立旅。此间，冯玉祥曾派京汉铁路局长王乃模送来5万元军饷，此外就再无接济。魏益三和铁路商议，利用撤离山海关时带来的火车车厢，在高碑店和石家庄之间办理了客货运输，一时解决了饷项问题。
此时，奉系已声明脱离北京政府，并派军队再次向山海关进逼，其所打出的旗号就是讨伐叛逆魏益三。所以，该部一时为各方瞩目。魏益三早年先后毕业于保定武备学堂及陆军专科师范学校，学校的督办就是段祺瑞，算是段棋瑞的学生。段在此时曾对魏益三进行拉拢，派亲信梁鸿志来保定，邀魏益三去北京当卫戍副总司令。但是，魏益三认为段棋瑞已是赤手空拳，没有直接指挥的军队，根本没有力量来保护自己，对此“借重”婉言谢绝。
国民军退守北京后，计划再退往西北。冯玉祥派人来与魏益三商议，希望其能与他一起行动。但是，魏益三见形势对国民军非常不利，不乐意放弃已有的保定地盘，向冯玉祥表示，可以对他起断后掩护的作用，但不能随他撤退。
３月５日，晋系商震部攻占石家庄后北上，与国民军四军发生冲突，两军隔滹沱河对峙。魏益三派与阎锡山有旧的参谋长刘凤池赴太原，接洽附晋。３月２５日，魏益三召集军政联席会议并议决，以响应王士珍和平运动为由，通电将所部改编称“正义军”，旋即与商震联系表示归附。商震将魏益三归投事电告阎锡山。这时，直系前锋田维勤部进入直隶，阎锡山命商震率部返回山西，将石家庄南北两地交给吴佩孚部接防。在此情况下，魏益三又派人赴汉口，通过吴佩孚第三师师长张席珍，向他表示了竭诚拥立之意。吴佩孚为扩充实力，不顾奉系的反对，立即致电魏益三，对他表示欢迎，电文中还有“军改正义，不忘死友”等语，并派靳云鹗前来接洽。４月１日，吴佩孚任命魏益三为“讨贼联军第三路总司令”。这样，魏益三摇身一变，又投靠了直系，参加了对国民军的围剿。国民军四军名义至此再次消亡。
方振武坚决随国民军一军的进退而动。3月下旬，他率国民军五军从冀南大名向北撤退。临行，方振武派员与晋军联系，请准放行，得晋方应允，方部行至白鱼镇宿营，因连日奔劳，疲倦不堪，突遭晋军包围。方部仓促迎战，未知外面虚实，顷刻间镇西关陷于敌手。晋军以机枪扫射，方部死亡枕籍，将士相顾失色。方振武见此情况立登屋顶，大声疾呼：“我军历来冲锋陷阵，莫不以一当十，谁不钦佩，今天几个敌人，有什么可怕的！看我前进夺敌人机枪”，遂挺身冲锋。士兵见状，也奋勇相随，突出重围。他率部继续沿铁路北进，抵保定。此时，魏益三已决定投靠直系，派人劝方振武也一起变更旗号。方知魏益三已有变，迅速率部北上到高碑店。3月20日，方振武到北京发表通电，表示以国民军一军的进退为“惟冀贯彻之旨，始终不渝……”。不久，国民军五军随一军撤至南口。