1930年中原大战反蒋失败后，冯玉祥军事集团土崩瓦解，冯玉祥从此离开了他苦心经营20多年的军队，仅带着一个团和西北军官学校的残部隐居于山西汾阳的峪道河。在汾阳隐居期间，冯玉祥开始反省自己失败的原因，逐步认识到，自己的军队之所以失败，是因为没有正确、鲜明的政治主张，没有正确的思想作为指导。为了寻求正确的政治主张，冯玉祥开始系统地阅读社会主义方面的书籍，包括《资本论》等系列经典著作和中国共产党的一些文件。他还聘请李达等人为自己讲辩证唯物主义、政治斗争原理，邀请共产党员肖明、张吾来等人共同分析国内国际形势，讨论中国革命问题。通过这些学习和讨论，冯玉祥对共产主义理论有了一些了解，对共产党也增加了好感。他在1931年8月的日记中写道，共产党的主义“真光明正大”，甚至产生了“只有入共产党最好”的想法。因此这期间他又重新和中国共产党建立了联系。他同意中共在他所办的军校中发展党的组织。当他听说当时在上海的中共中央缺少通讯工具时，立即变卖掉自己在北京的一所住房，用卖房的钱购买了一部电台赠送给中共中央。这一切都表明，冯玉祥在走过一段曲折的道路后，又朝着与中共合作的进步方向前进了。
1931年，日本帝国主义发动“九·一八”事变，由于蒋介石执行不抵抗政策，致使东北三千里江山节节沦丧。冯玉祥听到“九·一八”事变的消息，义愤填膺，肝胆欲裂。于9月23日首先发表通电，谴责蒋介石媚外误国、执行不抵抗政策的罪行，指责蒋介石政府企图依靠国联来解决日本侵略中国问题的作法是“与虎谋皮，自欺欺人”，是“甘为帝国主义之工具而不悔”。主张“团结全国民众之力量，一致对外”，“督促全国军队，开赴前线及各重要口岸，正式抵抗日本帝国主义之侵略，雪此无上之奇耻”。他认为，“中国存亡，在此一举”，并坚定地表示“誓死与全国同胞共赴国难，粉身碎骨，义无反顾”。10月21日、25日又两次发出通电，提出了13项抗日救亡的具体主张，并向正在南京召开的国民党四届一中全会提出了“以武力恢复东北失地”等3个提案。在此国难当头之时，冯玉祥抛弃了个人得失，带着抗日救国的夙愿，于1931年12月离开隐居的山西南下，奔走于南京和上海，疾呼“精诚团结，抗战救国”。“九·一八”事变后，日本侵略者得寸进尺，企图侵占上海，作为进攻中国内地的基地。于是在1932年1月28日夜，他们借口日本和尚被殴打，向上海闸北一带进攻。驻守上海的十九路军奋起抗战。上海各界人民也纷纷行动起来，组织了抗日义勇军、运输队、救护队等，积极支援前线。十九路军英勇顽强，杀敌万余人，使日本侵略者受到沉重打击，几度更换司令。消息传来，冯玉祥非常振奋，高度赞扬十九路军英勇可嘉，并向南京政府提出迅速派兵10万增援上海，从沿海口岸炮击日舰，同时集中北方军队反攻东北等建议。但蒋介石、汪精卫等人对他的建议却置之不理。十九路军在上海陷入孤军奋战，处境日益艰难。冯玉祥忧愤交加，竟病倒了。在病中，他又向蒋介石、汪精卫提出希望能给他一些军队，他愿亲自带兵上前线，指挥作战，以遂抗敌救国之志。但这些请求也被拒绝了。当蒋介石政府决定和日本侵略者签订淞沪协定后，冯玉祥更感抗日有志而报国无门，一腔热血无处洒，于是怀着无比愤懑的心情于1932年3月借口有病离开南京，转辗前往泰山居住，等待寻找报国的时机。
冯玉祥人在泰山，心系抗日，他专门在泰山五贤祠旁的石亭内写了一条标语：“你忘了没有，东三省被日本占了去。有硬骨的人，应当去拼命夺回来！”时时警示自己不忘国耻。他更加用心地学习革命理论，并接受共产党的建议，积极与过去的部下宋哲元、张自忠、冯治安、佟麟阁等联系，准备积蓄力量，进行武装抗日活动。
1932年底，日寇集结大量兵力，准备大举进犯热河，同时向山海关发动攻击。1933年1月2日，攻陷山海关，2月25日开始向热河及长城各口进攻。一周后，热河省会承德被攻陷。日寇进一步分兵向平、津及察哈尔入侵。华北危急！在全国人民高涨的抗日热情推动下，驻长城一线的官兵和长城内外的义勇军奋起抗击。但蒋介石政府仍采取不抵抗政策。冯玉祥一方面多次发表电文，抨击蒋介石的妥协政策足以亡国灭种，一方面积极鼓励和支持长城一线的抗日斗争，并自己出钱购买了一万件皮衣赠给长城抗日将士。
为了与共产党合作，共同组织民众抗日力量，冯玉祥在1932年10月便由泰山移住张家口，准备利用宋哲元担任察哈尔省主席的有利条件，在察哈尔树起抗日的大旗。1933年2月，冯玉祥与共产党派来的代表宣侠父、张慕陶等人开始商讨抗日的具体计划；同时派人去天津和两广、上海等地与吉鸿昌、石友三等联络，吉鸿昌等人纷纷响应冯玉祥的号召。蒋介石、汪精卫知道冯玉祥准备抗日后，十分惊慌，接二连三地派人来游说，企图引诱冯玉祥离开张家口。冯玉祥在共产党的推动和指导下，态度坚决，不为所动。他对蒋、汪的说客说：“谁要是亲日妥协，谁就是我的敌人，决无合作之可能。”蒋介石在3月6日发出“侈言抗日者杀勿赦”的命令，冯玉祥也不为所屈。他对劝他离开张家口的人说：我是下了决心要抗日的，能动30万兵就抗30万的，能动2万兵就抗2万的。即使我一个兵也弄不动，我一个人爬到房顶上，拿着两杆枪，打死一个日本兵就够本，打死两个就赚一个。他表示：“宁为抗战而死，也不愿离开此地！”
1933年5月26日，在冯玉祥的组织领导下，齐集张家口的各军、各地区、各人民团体的代表共议组织民众抗日同盟军，大家共同推举冯玉祥为同盟军总司令。冯玉祥当即就职，同时通电全国谴责日本帝国主义的侵略罪行和蒋介石政府的妥协政策，表示自己决心“率领志同道合之战士及民众，结成团结战线，武装保卫察省，进而收复失地，求争取中国之独立自由。”察哈尔民众抗日同盟军的成立，是对国民党妥协政策的有力一击，受到了全国人民的拥护，各地零散的抗日队伍纷纷前来加入同盟军。至6月中旬，抗日同盟军的队伍已达十余万人。
抗日同盟军第一次军民代表大会决定了军事、政治等纲领，并任命方振武为北路前敌总司令，吉鸿昌为北路前敌总指挥，邓文为左副指挥，李忠义为右副指挥，率兵分三路向察北地区出击。同盟军接连收复康保、宝昌、沽源等地，连战皆捷，士气大振。7月初，同盟军大军直指察北名城多伦。当时，驻扎多伦城的敌军是日寇茂木骑兵旅团和伪军李守信部，共计有日军3000余人、伪军数千人。敌人在多伦城外修筑了32座炮台和各项坚固的工事，配备了精良的武器，甚至出动飞机助战。整座城市易守难攻。吉鸿昌、邓文、李忠义等亲临前线，率领同盟军与敌人展开了激战。冯玉祥总司令也向前线发来电报，激励将士们英勇杀敌以死报国。经过5昼夜的血战，同盟军毙敌1000余人，终于在 7月12日攻克多伦。察哈尔东北各县随之完全光复。在此形势下，冯玉祥决心要亲自率军乘胜收复东北四省的失地。7月27日，在张家口成立了“收复东北四省计划委员会”，冯玉祥任委员长。他又在张家口主持修建了一座抗日牺牲将士纪念塔，塔顶上放着一根尖端指向东北的5尺长木，寓意不要忘记收复东北失地。
冯玉祥的武装抗日活动，无异于给一贯主张妥协不抵抗的蒋介石政府一记响亮的耳光。蒋介石、汪精卫视同盟军抗敌保国的行为大逆不道，必欲消灭之而后快。就在同盟军与日寇浴血奋战之时，蒋、汪却肆意造谣诋毁，诬蔑同盟军“破坏整个国策”、“妨碍中央统一政令”，甚至否认有收复失地和抗日伤亡的事实。正当同盟军积极乘胜收复东北之时，蒋介石、何应钦调集16个整师、8列钢甲车和两队飞机包围了张家口，并封锁了平绥线的交通。同时，又采取“银弹”攻势，以高官厚禄为诱饵，收买同盟军中的动摇分子，从内部瓦解同盟军。在蒋介石政府和日伪敌军的内外夹攻下，同盟军处境困难，难以再有所作为，冯玉祥不得不宣布结束抗日同盟军，于8月4日抱恨离开张家口，重新回到泰山。