冯玉祥坚决主和、反对内战的言行深得以孙中山先生为首的南方护法军政府的赞许。1918年7月，当冯玉祥率部进入湘西时，与南方军达成谅解，双方并未正式交战，南方军便主动后撤，冯军顺利进驻常德。北洋政府也解除了对他革职留任的处分，令他兼任湘西镇守使，管辖常德、桃源、临澧等县。
冯玉祥任湘西镇守使两年间，一方面秘密与南方军将领往来，优抚慰问南方军将领留在常德等地的家属。一方面积极扩充军队，他总结自己多年带兵打仗的经验，从战术理论、实际操作以及培养干部队伍等方面开始了较有系统的练兵。他不仅要求官兵们练就过硬的作战本领，而且还从思想文化方面对他们进行教育。在部队中组织读书会，编写了若干小册子和军歌，如《军人读本》、《精神书》、《战阵一补》、《告往勖来篇》、《义勇小史》、《国耻歌》等。又将日本军国主义妄图灭亡中国的秘密条款“二十一条”写成通俗的讲解文字，将原条写成字帖，让官兵们既能学习识字，又能时刻不忘国耻。
冯玉祥痛恨当时许多军阀部队腐败堕落，祸害百姓的行径，他给自己的部队制订了较为严格的军纪，注意搞好军队和老百姓的关系，为地方和老百姓做了很多好事。如，不入民房、不借民物；公平交易；禁烟禁娼；取缔和整理各大商号滥发的纸币；派军队整理街道，修建桥梁和公路，加固防洪堤坝；设立习艺所和植树造林等等，受到老百姓的称赞。
在常德期间，冯玉祥对侵驻我国沅江的日本军舰采取的坚硬态度，大长了中国人的志气，维护了国家和民族的尊严，尤其受到广大人民群众的颂扬。
常德是湘西的一座历史名城，也是一处扼守要冲的兵家必争之地。冯玉祥率军初到常德时，发现常德街头到处贴着日本兵舰保境安民的告示，许多中国人开的商店门口都挂着日本国旗。在自己的领土上，却要日本军舰来保护，冯玉祥认为这有辱国家尊严，立即派人将那些安民告示撕毁。然后他召见日本舰长，严厉地警告他，以后再不许有类似侵害我国主权的不法行为。冯玉祥了解到由于常德为兵家必争之地、历来交战双方无论谁胜谁败、溃逃的一方总是要大肆抢劫一番，又还常有散兵游勇和土匪强盗来趁火打劫，商家迫不得已才挂日本国旗，以求得日本军舰庇护的情况后十分痛心，立刻召集商人开会。在会上，他申明大义、晓以利害。他说：“我相信稍有血性的中国人都明白依靠外国人庇护是最可耻的事。你们以前为溃兵骚扰，大家不得已而做这样的事，现在，我们队伍是严守纪律的，一定能承担保护地方的责任，绝不会再有骚扰之事发生。如果我的士兵动了你们的一草一木，就请你们把我冯某逮捕枪决。请大家回去后，立刻把日本国旗取下销毁。今后永远也不要再做这种辱国辱己的事了。”接着，冯玉祥又派人将出售日本国旗的中国奸商和日本浪人绳之以法。
当时，内乱频仍，国无宁日。为维护地方治安，保护常德人民安居乐业，冯玉祥特别加强了城内治安，他派士兵把守城门，检查过往的可疑之人。一天，几个日本水兵大摇大摆地要从南门进城，守城士兵对他们进行检查，他们不仅拒绝检查，其中一个日本兵反而先动手打了我国士兵一个耳光。我国士兵怒不可遏，端起刺刀和日本兵拼搏，刺伤了其中3个日本兵。事后，当地日本侨民居留会会长高桥新二和日本舰舰长求见冯玉祥。高桥气势汹汹地声称：“本国水兵伤势很重，我代表日本国政府向你们提出强烈抗议！”冯玉祥不动声色地问：“你打算如何解决此事呢？”高桥和日本舰长提出，先把中国“行凶”士兵关押起来，再谈解决办法，并说这是依照《日本海陆军刑法》第xx条规定处置的。说着话，日本舰长还掏出《日本海陆军刑法》的小册子指指点点。冯玉祥一看怒不可遏，立即脱下一只鞋，要用鞋底抽日本舰长10个嘴巴。他理直气壮地指出：“用日本军法来处置我国士兵，这是对中国的侮辱，所以我要用鞋底来教训你们。我们中国有中国的军法，按我国的军法规定，士兵有权检查任何一个进城的人，若对方不接受检查，即是奸宄匪徒。我们的士兵忠于职守。打伤了一些匪徒，我要大大地给予奖赏。”高桥和日本舰长恼羞成怒，威胁要上告日本天皇和段祺瑞总理。冯玉祥轻蔑地说：“我冯某人前不久在武穴通电全国，就是反对段总理的，你们难道不知道吗？你们快去和段总理交涉，叫他来惩处我吧。告诉你们，我冯玉祥只知道真理，只知国法，除此之外，什么也不怕！”面对冯玉祥义正辞严的态度，高桥和日本舰长理屈辞穷，像泄了气的皮球，不得不用商量的口气求得妥协，提议双方互派代表看望对方伤员，并愿意先来看望中方伤员。
在驻兵湘西期间，冯玉祥加强了与南方军的往来，并与孙中山先生建立了政治联系。1920年7月，冯玉祥率部撤出湘西，北进途经汉口时，曾致信给孙中山，述说当时自己处于北洋军政府控制下的矛盾和困苦，表示自己现时虽因环境所限，不能追随孙中山先生左右，但在精神上却早已和孙中山先生结交契合了。孙中山先生收到此信后，派徐谦、钮永建等带着自己的亲笔书信前往汉口向冯玉祥表示慰问。1920年11月孙中山由上海回到广东，冯玉祥又派他的秘书任右民在越秀楼拜会了孙中山先生。孙中山先生曾向他们提出：“决将联络苏联。以平等待我的民族只有苏联。”
1920年7月，北洋军阀内部直系冯国璋与皖系段祺瑞的争权夺利，导致了直皖战争爆发。经过一场狗咬狗的争斗，段祺瑞战败，直系军阀曹锟、吴佩孚控制了北京政府。因冯玉祥早在武穴主和时就有反对段祺瑞的行动，所以被提升为11师师长。不久，又被委任为陕西督军，率部进驻西安等地。
冯玉祥督陕期间，依旧每日亲临操场，训练军队。他虽属旧军阀队伍中的一员，但却与其他军阀不同，始终保持着鲜明的反帝爱国思想。每逢日本提出灭亡中国之“二十一条”的“五七”国耻日，他总要集合部队，进行训话。让官兵们吃印有“勿忘国耻”四个红字的窝头，同时唱雪耻歌。歌中唱道：“这些饭食，人民供给，我们应该为民努力。帝国主义，人民之敌，复仇雪耻，我辈天职。”唱毕还要讲述日本帝国主义妄图灭亡中国的罪行。并鸣炮十余响以“震醒醉生梦死的中国人”。
在练兵的同时，也仿照镇守湘西时的经验和办法来处理地方事务。如整顿银行滥发的纸币；令财政当局增加充实教育经费，在各城镇广泛设立平民学校，兴办教育；禁烟、禁娼、放脚、植树等。又派军务课长石敬亭督率官兵参加修筑以西安为中心，东至潼关，西至凤翔，北至三原，西北至平凉的四条公路。击溃了经常出来骚扰百姓的土匪和一些散兵游勇。
对于那些侵害国家民族利益的外国人，冯玉祥始终坚持寸步不让，毫无奴颜媚骨。在他任陕西督军时的一天，美国人安德思和英国人高士林，未经任何人允许，擅自在终南山中猎获了两头野牛。冯玉祥知道此事后，向他们严正指出，外国人私自猎杀中国领土内的野牛是违法行为。高士林却狡辩说，我在中国15年，所到之处没有不准打猎的。冯玉祥凛然地说，你以前没有遇到过官府禁止你们行猎，那是因为他们睡着了，但我并没有睡着！终南山是陕西的辖地，我现在是陕西的地方官，负有国家人民交托的保护领土维护主权的责任，因此，我非禁止你们不可。他责令安、高二人把两头野牛送回终南山，并赔偿损失。安、高二人在冯玉祥的严斥下，不得不认错并保证以后不再犯。冯玉祥这种保土维权的爱国行为，得到了当时舆论界的一致称赞。
冯玉祥在陕西期间，一直保持着与孙中山先生的联系。他遵照孙中山先生的指示，与陕西胡景翼领导的靖国军合作，后又将靖国军改编为陕军第一师，为后来与胡景翼联合发动北京政变打下了基础。他还通过马伯援向孙中山先生提出了五条请教意见，表达了他将孙中山先生看作民主共和的领袖以及自己拥护共和、共同救亡的意愿。
1922年第一次直奉战争后，冯玉祥奉令调任河南督军。半年后，受吴佩孚等人的排挤，被免去河南督军之职，调赴北京任陆军检阅使，驻扎在南苑、通州等地。