受英、美帝国主义支持的直系军阀，在第一次直奉战争中打败受日本帝国主义支持的奉系军阀后野心进一步膨胀。他们从英、美帝国主义那里得到了更多的军费、军火，又通过英帝国主义与广东军阀陈炯明等相互勾结，企图推翻孙中山领导的广东革命政权。对于革命人民，也采取了血腥的镇压手段。1923年2月7日，吴佩孚制造了镇压京汉铁路罢工工人的“二七”大惨案。这年6月，直系军阀的另一头目曹锟在驱逐总统黎元洪后，以每张选票5000元的价码，演出贿选总统的丑剧，把自己推上总统宝座，把持了北京政权。从而，直系也成了全国最大、最反动的军阀集团，深为全国人民所痛恨。
冯玉祥自担任11师师长以来，名义上虽归属直系，但他的思想、作风等却与其他直系军阀格格不入。他对贪财好色、昏庸无能的曹锟和刚愎自用、残忍专断的吴佩孚深为不满。特别是“二七”惨案和贿选丑剧发生后，他对这两个军阀头目完全失掉了信任，决心选择适当的时机与他们彻底决裂，另觅救国救民之路。恰在此时，孙中山先生也派人来到冯玉祥军中，劝说冯玉祥在适当的时候联合奉系和段祺瑞的力量，推翻最大、最反动的直系军阀。
1924年秋天爆发的第二次直奉战争，终于为冯玉祥提供了等待已久的机会。
1924年9月，在第一次直奉战争中吃了败仗的奉系军阀，经过两年养精蓄锐、整军备战后，数十万人马在少帅张学良的率领下，直扑直系控制的热河、榆关等地，引发了第二次直奉战争。吴佩孚等直系军阀也调兵遣将，迎敌应战。他们任命冯玉祥为第三路军总司令，令冯军经密云、古北口、滦平等地向开鲁前进，会合第二路军进攻奉军的侧面。冯玉祥接受任务后，立即与第二路援军司令胡景翼、北京警察副司令孙岳等秘密联络，约定在适当的时机回师北京，发动政变。
10月19日，冯玉祥军到达古北口后，接到了吴佩孚催他迅速出击的急电，他认定行动的时机到了，当即命令鹿钟麟先行秘密赶赴北京，会同孙良诚、张维玺等人安排北苑防务以及入城的警戒任务。又派人直驱长辛店，截断京汉、京奉两条铁路的交通。自己随即亲率部队昼夜兼程，赶赴北京，并向孙岳、胡景翼发出了简便行动的信号。冯玉祥军仅用了3天时间，徒步行军六、七百里，于10月22日回到北京。在孙岳部队的配合下，冯军半夜时分由安定门入城，未费一枪一弹，就神不知鬼不觉地将总统府卫队的武装解除了，同时迅速占领了车站、电报局等要害部门。
23日，冯、胡、孙联名通电全国，呼吁停止内战，共建和平。25日他们软禁了贿选总统曹锟，组织了“中华民国国民军”和“临时摄政内阁”，冯玉祥任国民军总司令兼第一军军长，胡景翼、孙岳分任副总司令和二、三军军长。冯玉祥等人还决定立即发电报给孙中山，请他来北京主持国家大计，并派马伯援专程前往迎接孙中山。
吴佩孚听到北京政变的消息，大为惊恐，急忙调兵来救，但救兵刚到天津附近就被冯军击败，吴佩孚惊慌失措，只得从塘沽登舰仓皇南逃。直系军队也随之土崩瓦解，奉军则乘势长驱直入，迅速占领了滦州、唐山、秦皇岛等地。
冯玉祥发动北京政变后，还办了另一件轰动全国、大快人心的事，那就是将清朝的末代皇帝溥仪驱逐出了紫禁城的皇宫。本来，按照清帝退位时与民国政府达成的协议，溥仪早就该搬出皇宫了，但由于袁世凯、黎元洪、段祺瑞等人的姑息纵容，溥仪不但得以长期赖在宫中不走，而且还把紫禁城变成了一个“国中之国”。溥仪在这个小朝廷中继续称孤道寡，对他的追随者们发布“上谕”，举行跪拜大礼，并且不遵守民国的历法，仍使用宣统年号。更有甚者，每逢民国政府总统换任，还要派遣“专使”以外国君主礼前往清宫送国书，问安好。1922年12月溥仪结婚时，在民国大批军警的警戒护卫下，清宫的龙车凤辇、旗伞仪仗、黄亭宫灯等竟然浩浩荡荡地在紫禁城外的北京街道上大大招摇过市。这些奇怪的现象早就引起了广大民众的不满，并遭到国外舆论的讥讽。
早在讨伐张勋复辟之时，冯玉祥就有驱逐溥仪的想法，但由于段祺瑞的阻挠而未实现。北京政变以后，11月4日摄政内阁会议通过了让溥仪自废尊号，搬出故宫，修改清室优待条件的决定。次日一早，冯玉祥派警备司令鹿钟麟带人来到故宫，执行摄政内阁会议的决定，要求溥仪在3小时内搬离故宫。两位太妃寻死觅活，说什么也不肯走，鹿钟麟等人又把限期推迟到下午3点，可到了时间，他们仍赖着不肯走。最后鹿钟麟说：“再给你们20分钟，若再不走，就要从景山上开炮轰击了。”这句恐吓的话果然十分奏效，不一会儿溥仪和众皇族们终于坐上国民军准备的汽车离开了爱新觉罗王朝盘踞了数百年之久的故宫。消息传出，举国称快，当时在广州的孙中山专门致电冯玉祥，深表赞许。
北京政变以后，冯玉祥经常与中国共产党的创始人之一李大钊先生往来，并通过李大钊的介绍，结识和会晤了苏联驻华大使加拉罕。在徐谦、于右任等国民党人的帮助下，冯玉祥依据孙中山先生的联俄政策，要求苏联派遣顾问团到国民军中帮助训练军队。李大钊经常和冯玉祥一起谈论、分析当时的政治形势，向冯玉祥及其部下解释和宣传中国共产党打倒帝国主义、打倒军阀、打倒土豪劣绅等等政治主张。这些宣传工作，对冯玉祥思想认识的进步起了积极的作用。冯玉祥曾秘密嘱咐部下，对群众的革命行动要保护。他还通过种种关系帮助共产党救出了“二七”惨案以来被捕的工人领袖，恢复了各铁路失业工人的工作。于是，在较短的时期内，铁路工人运动又得以重新发展起来。
冯玉祥与李大钊等人的频繁接触，以及接受苏联军事援助等革命倾向，引起了各派反动军阀的极大恐慌。在帝国主义的撮合支持下，奉系直系军阀又勾结在一起，并联合直鲁各军以及阎锡山的晋军，成立了所谓的“反赤大联盟”，矛头所指，不仅是苏联和中国共产党，也包括当时的中国国民党和冯玉祥等人领导的国民军。在直奉军阀的排挤下，势单力薄的冯玉祥被迫于1926年1月1日通电辞职，并于同年3月21日取道库伦（今蒙古人民共和国首都乌兰巴托）前往苏联游历考察。国民军在鹿钟麟等人的领导下于1926年4月推翻段祺瑞执政府后也迅速撤出北京，主力沿京绥线退往南口一带。尾随而至的数十万反动“讨赤”联盟军将退守南口的国民军四面包围，必欲全歼之而后快。国民军凭借坚固的工事与敌军抗衡了3个多月，终因力量对比悬殊、给养军械补充困难、友军之间被截断等原因，被迫于8月18日突围撤退，在付出惨重的代价后，所存无几的队伍陆续退入人烟稀少、村落穷僻、环境恶劣的塞外西北。
北京政变以后，孙中山先生接受中国共产党的建议，决定应冯玉祥等人的邀请离粤北上。1924年11月13日从广州出发，12月4日抵天津，冯玉祥派参谋长熊斌前往欢迎。不料孙中山先生因肝病发作，一直到12月31日才抱病抵达北京。此时北京政权已为段祺瑞等人控制，冯玉祥也受排挤离京出任西北边防督办。不久，孙中山先生就病逝于北京。冯玉祥一直将孙中山先生看作自己精神上的引导者和最理解自己的人，称自己是一个未入国民党的三民主义信徒。听到孙中山先生逝世的噩耗，他深感震痛，下令国民军全体官兵为孙中山带孝7日表示哀悼。他以未曾与孙中山先生亲自见上一面为终身遗恨。