清朝末年的兵营是一个藏垢纳污、极度腐败的场所，当官的一心只想着捞钱，当兵的只知道滥竽充数，混口饭吃。全营上下吃喝嫖赌，风气极坏。就在这种乌七八糟的环境中，冯玉祥却像一枝圣洁的莲花，奇迹般地做到了出污泥而不染。他对自己要求很严格，不仅不让自己沾染种种恶习，而且当差执勤、出操训练等都非常谨慎刻苦。当时有些不三不四的人曾给他取了个绰号叫“外国点心”，意思是讽刺他即使训练再刻苦，迟早也会被洋人打死。面对这些讽刺挖苦，冯玉祥却丝毫也没有动摇自己积极向善的信念。几年以后，他不仅遗传了父亲的优势，长得身材魁伟，体格健壮，而且当上了军官。但由于统治阶级的腐败无能，当时整个中国都处在饱受外国列强凌辱、宰割、掠夺、瓜分的苦难境地。冯玉祥从亲身的经历中也深深认识到，正是由于政府和军队的腐败无能导致了我们国家抵御外辱的失败。他把希望寄托在当时由北洋军阀组织训练的、使用新式洋枪洋炮的新军身上，希望通过参加这种新建的军队来扫除列强，洗雪国耻。于是，1902年他放弃了在清朝兵营中的军官职位，毅然投奔了新军。
投奔新军以后，冯玉祥越发勤奋地读书，更加刻苦地操练，在各种考核中均成绩优异名列前茅，所以他的职务也升得很快。在此期间，冯玉祥也逐渐接触到了一些近代民主革命的新思想，耳闻目睹了清政府种种丧权辱国的行为，以及吴樾（yuè）等民主志士前赴后继为国家为民族捐躯洒血的义举，都给他的心灵带来很大的刺激和震撼。他逐渐摒弃了原来头脑中存在的“忠君即是爱国”的封建思想，对外国侵略者和腐朽的清政府充满了强烈的仇恨和不满，希望通过变革和斗争改变中国的现状。因此，早在辛亥革命前，他就接受同盟会的指示，与其所在部队的管带施从云、王金铭等秘密成立了反清组织“武学会”，酝酿起义。武昌起义爆发后，他们也于1912年1月3日在滦州发动起义，宣布独立，并成立了“北方革命军政府”，推举王金铭为大都督，施从云为总司令，冯玉祥为参谋长。但由于起义各部协调统一不周密，在北洋军阀的残酷镇压下，滦州起义很快就失败了。王金铭、施从云两人被杀，冯玉祥被解除军籍押解回乡。
此后不久，在全国革命形势的冲击下，清朝的最后一位皇帝即宣统皇帝溥仪被迫下诏宣布退位，清王朝彻底灭亡了。但辛亥革命的胜利果实并未落到人民手中，而是被北洋军阀的头子袁世凯窃取了。
袁世凯凭借阴谋和武力当上民国大总统以后，便任用自己的亲信陆建章组建警卫军。陆建章与冯玉祥本是亲戚关系，他深知冯玉祥很有军事才干，加上当时清王朝已灭亡，反清已属无罪，所以，在他的推荐下，冯玉祥重新恢复了军籍，当上了袁世凯军阀部队中右路补备营的一位管带。在随后的几年中，冯玉祥一直跟随陆建章转战陕西等地。由于才干出众，颇得陆建章和袁世凯的器重，很快便由管带升为少将旅长。
1915年，袁世凯违背历史潮流和全国人民的意愿，准备恢复帝制，自己当皇帝。为换取日本帝国主义对自己的支持，他竟然接受了日本提出的空前丧权辱国的“二十一条”。并于1915年12月12日登上帝位，当上了洪宪皇帝。全国人民群情激奋，中国南方各省纷纷宣布独立。著名爱国志士蔡锷将军在云南通电全国，宣布独立，反对袁世凯称帝，并组织护国军。分三路向四川、贵州、广西进兵。
袁世凯接受“二十一条”的消息传来时，冯玉祥正率部驻扎在陕西汉中的褒城。他一听到此消息，顿时感到热血沸腾，少年时跟随父亲在大沽炮台服役时，以及庚子年间（1900年）八国联军入侵时，在保定等地亲眼看到日本兵奸淫掳掠，甚至以中国人当靶子、任意射杀的种种禽兽行径，又历历浮现在眼前。他当即召集队伍，声泪俱下地向士兵们痛述日本帝国主义的罪恶与民族仇恨，号召士兵们以日本为“假想敌”，刻苦练兵，为国雪耻。
冯玉祥虽受袁世凯的赏识和提拔，但对袁世凯恢复帝制的倒行逆施却极为不满。因为他不仅从思想上赞成共和，还为民国的创立流过血汗。所以，当北洋军阀的军官们纷纷署名通电，并邀约冯玉祥参加支持袁世凯称帝时，冯玉祥严辞拒绝了。他想起了为推翻清王朝的统治在武昌起义、滦州起义中牺牲的先烈们，坚决地提出：“宁愿牺牲，定要反对帝制到底！”并召集官兵们发表讲演，宣传反对帝制的道理，鼓励士兵们作好参加反对帝制战斗的思想准备。
1915年底，冯玉祥奉令率他领导的十六混成旅进入四川，配合其它北洋军阀部队抵抗蔡锷将军领导的护国军。冯玉祥入川后，利用军阀系统内指挥混乱的弱点，将部队驻扎于内江等地，迟迟不肯出击，以避免和护国军发生冲突。他顶住曹锟等人频频来电责问、催战的压力，一方面写信给以前滦州起义时的同志刘一清，通过他劝说当时任四川总督的陈宦不要与蔡锷的护国军作对，并要刘一清在合适的时候促成陈宦倒戈起义宣布四川独立。一方面派自己的亲信部下前往泸州前线和护国军的刘云峰部取得联系，双方实行了局部停战。接着，又派张之江直接与蔡锷将军会晤，蹉商促成四川独立的办法。他自己又直接发电报给陈宦，向他分析国内省内的形势，痛陈是非利害和顺逆之理，劝陈宦早日宣布独立。蔡锷将军也亲自写信给冯玉祥及刘一清，嘱咐他们加紧促成陈宦独立。后冯军驻扎成都东郊时，冯玉祥又亲自入城当面劝说和敦促陈宦。在多方努力下，陈宦于1916年5月20日宣布四川独立。冯玉祥所率部队宣布参加护国军，被编为护国军第五师。冯玉祥的这些行动，有力地推动和促进了全国的护国倒袁运动，袁世凯在护国狂飚的打击下，被迫于3月22日宣布取消帝制，并于同年6月6日在忧惧绝望中一命呜呼了。
冯玉祥促成四川独立，并参加护国军的行为却大大地惹怒了反动的北洋军阀头目黎元洪、段祺瑞等人，他们于1917年4月1日借故免去了冯玉祥的旅长之职。冯玉祥被迫离开部队去北京西部的天台山休养。
第一次世界大战爆发后，日本帝国主义趁西方各列强无暇东顾，企图独霸中国。于是它一方面与美国签订《兰辛石井协定》，一方面怂恿当时任国务总理兼掌陆军部的段祺瑞参战，许诺借给段祺瑞巨款和军械，以换取德国在山东的利益。后来，日本又利用段祺瑞与总统黎元洪之间的矛盾，由日本特务出面活动，唆使张勋和段祺瑞相勾结，解散国会，驱逐黎元洪，拥护溥仪复辟。1917年6月底，在日本侵略者和段祺瑞的支持下，张勋身穿满清袍褂，头垂长辫，率领他的“辫子军”气势汹汹地开进了北京城。6月30日，他逼迫黎元洪“交还大政”，黎元洪被逼出走。7月1日北京城便四处龙旗高悬，推翻数年的清王朝宣告复辟了。
冯玉祥在天台山休养地得知清王朝复辟的消息后，立即派人变卖和典当家产，作为声讨复辟的起义费用。然后，一面派人与驻扎在廊坊的旧部十六混成旅的官兵联络，激励官兵作好战斗准备，一面亲赴天津与陆建章、张绍曾、张之江等商议讨伐复辟的对策。此时退居天津的段祺瑞也打出了反对复辟、征讨逆贼的旗帜，并拉冯玉祥一起参加。7月6日，冯玉祥返回廊坊，重新统领着他那支具有反帝制光荣传统的十六混成旅，在天津附近的马厂参加了讨逆誓师大会，并承担起正面主攻的重任。7月9日，冯军就在靠近廊坊的万庄击溃了张勋派来镇压的军队。接着，又和其他讨逆军相配合沿铁路北进，夹击丰台，并率部首先攻入北京。12日晨，以冯部为首的讨逆军向复辟军盘踞的天坛发起了总攻，双方激战到11时，最后讨逆军将复辟军的主力消灭，张勋狼狈地逃入荷兰使馆躲藏起来。这出复辟丑剧仅上演了12天就匆匆收场了。
段祺瑞利用张勋逼走黎元洪，又以反对复辟为名率兵与其他讨逆军一起击败张勋，然后他便重新控制了北京政权。为换取外国借款扩军备战，他多次向日本出卖国家主权，同时拒绝恢复象征民主共和的《临时约法》和国会。为捍卫《临时约法》，1917年9月，孙中山先生在广州成立了护法军政府，自己就任海陆军大元帅，领导云南、广东两省军队及广西、贵州、四川部分军队与段祺瑞控制的北洋军阀北京政府展开了针锋相对的斗争。段祺瑞依仗日本的支持，执行“对外宣而不战，对内战而不宣”的方针，企图通过对南方军政府实施军事讨伐，来实现他“武力统一”的迷梦。
击败张勋复辟军后，冯玉祥也逐渐了解到张勋复辟前后与段祺瑞之间的勾结，对段祺瑞集团非常憎恶和鄙视，对段祺瑞将发动的战争极为不满。当时他曾与吴佩孚、商震、张锡元、王汝勤等9名旅长在北京掌扇胡同军人俱乐部聚会，相约不再参加内战。
1917年，北洋政府的军队在四川、湖南、福建等省连连打败仗，段祺瑞急令冯玉祥的十六混成旅前往福建增援。由于冯玉祥平时敬重孙中山先生的为人，赞成孙中山先生的主张，不愿与护法军交战。所以，他想方设法拖延时间。一开始他借口兵力单薄，要求增加一个补充团，等补充团的新兵招来后，又以津浦线北段遭大水冲毁不能通车为由，迟迟不肯出发。最后，在段祺瑞的严令催督下，才于11月中旬绕道京汉、陇海前往福建。队伍磨磨蹭蹭地到达江苏的浦口、浦镇后又找借口停止不前。一直拖到第二年的2月，在段祺瑞接连不断的逼令下又才继续开拔。一路仍是走走停停，在经过安庆、九江等地时也一再停留。冯玉祥实在不愿意为反对孙中山先生的护法军政府而打内战，当部队走到武穴这个地方时，他决定不再前进。他决心不管承受多大的压力和危险，也要实施自己反战主和的主张。于是，他接连发出两封通电，要求对南方停战，和平解决南北政府间的冲突。在第一封电报中他阐述了他为什么主和。他认为南北双方没有不共戴天的仇恨，外国侵略者才是大家真正的和共同的敌人。他在电文中还痛陈了内战给国家、民族和百姓带来的危害。他说，内战使国库空虚，国家靠借外债维持，军队内耗严重，装备缺乏，无数百姓死于战火和瘟疫，哀鸿遍野，民不聊生，外国列强乘虚而入，国家将有亡国灭种的危险。他指责段祺瑞政府坚持打内战是为了少数人的私利而置民意和国家的安危于不顾，是与人民为敌的行为。
在第二封电报中，冯玉祥更明确地提出要求恢复国会，以伸民意。他指出，现在的段祺瑞政府，毁弃了国会等民意机构，因此，不足以代表全国人民之公意。在此情况下打内战，无论胜负，都属自相残杀，即使获得胜利，又有什么光荣可言？他说，若是为公道和正义而战，则虽败犹荣，若是为个人或小集团的私利私欲而战，则虽然一时得胜，最终必自取其辱。因此，他提出：“惟望国会早开，民气早伸，罢兵修好，时局早定。”并坚决地表示，如仍有不以国家人民的利益为重，而专以破坏和平、危害国家百姓为能事者，他将与之斗争到底，哪怕牺牲一切也在所不惜。
这两封电报犹如声讨“主战派”的檄文，使段祺瑞政府恼羞成怒。1918年2月25日，段祺瑞下令将冯玉祥革职查办，并派兵包围了冯玉祥的部队。十六混成旅的全体官兵义愤填膺，通电质问段祺瑞政府，要他收回成命，以安军心民心，否则全旅9500余名官兵将誓与旅长冯玉祥共生死。面对团结一致同仇敌忾的十六混成旅官兵，段祺瑞深感心虚害怕，他担心事态进一步扩大将危及他“武力统一”的大计。最后他不得不收回成命，让冯玉祥“戴罪图功”，继续领导十六混成旅。