1911年10月，爆发了武昌起义，全国掀起了资产阶级民主革命运动——辛亥革命，终于推翻了腐朽的清王朝，建立了中华民国。
这年冬天，张自忠考进了天津北洋法政学堂。天津这个大都市使他眼界大开，北洋法政学堂的进步思想和革命气氛更使他深受鼓舞。在学校，他第一次接触到孙中山的三民主义学说和“驱除鞑虏，恢复中华，创立民国，平均地权”的资产阶级政纲。这些，对他后来的成长有很大的影响。这年底，他秘密参加了同盟会，成为一名革命党人。
这时，济南有一所山东省法政专门学校，校长是同盟会山东省负责人。武昌起义后，他发起成立山东省各界联合总会，联合进步力量迫使山东巡抚宣布独立。张自忠出于对家乡的感情，转学山东省法政专门学校，并积极投身到山东省的革命运动中。
辛亥革命不久，原清朝的内阁总理大臣袁世凯，凭借他控制的北洋军事势力，依靠外国帝国主义的支持，并利用资产阶级革命派的软弱性，窃取了辛亥革命的果实，于1913年就任中华民国临时大总统。
中华民国虽然建立了，但仍然到处是贪官污史，民不聊生，外国列强横行，无异于腐朽的清王朝。在学校里，张自忠经常对同学们说：“国家、民族到了今天这样的地步，我们还守着案头死读书，咬文嚼字地准备作刀笔吏，实在让人于心不甘。”辛亥革命的这种结局，使张自忠认识到要彻底推翻封建统治，建立共和政权，挽救民族危亡，赤手空拳、口头鼓吹是不行的，必须掌握武装力量，革命才能成功。因此，他开始萌发并逐渐坚定了参军的想法。
1914年暑假到了，张自忠说服了母亲，于这年初秋，和约好的5个同学奔赴奉天省（今辽宁省）新民县，到陆军第二十镇（师）第三十九协（旅）第八十七标（团）参军。这个标的标统（团长）是车震。
张自忠等6个人为什么千里迢迢从山东去奉天参军呢？因为第二十镇的很多官兵是山东人，车震则是临清县人，还是自忠三哥的朋友。更重要的是，第二十镇具有革命传统。辛亥革命时，曾举行兵谏，要求清朝政府召开国会，起草宪法；该镇的第七十九标的三名管带（营长）受同盟会指示，在滦州起义，成立“北方革命政府”。该镇另一名管带冯玉祥也参加了滦州起义，并被推举为起义军参谋长。
车震知道这6个年轻人都是有钱人家的子弟，怕他们受不了部队的苦，劝他们回家继续求学。但他们是怀着满腔热血而来的，决心报效国家，怎么劝也不走。当时正值麦收，第二天，6个人去参加麦收。头两天还能坚持下来，可是麦收还没完，除张自忠外，那5个人就坚持不住了，要求退役。车震劝自忠与他们一起回家，但张坚决要求留下来。车震见他决心很大，就给他补了个副兵的缺。
部队的生活非常艰苦，特别是士兵是苦上加苦。每天除训练之外，还有繁重的体力劳动，如修路、挖壕、抬煤、扛米等。初干这些重活，张自忠累得腰酸腿疼，肩膀都压肿磨破了。当他实在干不下去时，同棚（相当于班）的弟兄们便把他的活揽下来，长官过问，就以叫张自忠代他们写家信搪塞过去。车震见张自忠好像吃不消了，几次劝他早日回乡，继续未竟的学业。张自忠却咬紧牙关，坚持下来。
1915年初，车震升任第三十九旅旅长，该部奉命由新民县移驻绥远省（今属内蒙古自治区）平地泉。有一段路是徒步行军，士兵要全副武装，背负几十斤，日行百余里，疲惫不堪。宿营时，每人只有一条军毯，深秋的午夜，常常被冻醒。经过一年多的磨炼，张自忠经受了考验，意志更坚强了，也成熟了许多，对什么样的苦都能应付了。
1916年12月，袁世凯称帝，蔡锷等组织护国军讨伐袁世凯。次年初，第二十师奉命南下，镇压护国军。在护国军的打击下，车震部被击溃，几乎全军覆没。车震心灰意冷，解甲归田。大树已倒，张自忠无处安身，幸得几位同乡资助，才回到家乡。初次参军历时两年，就这样惨淡地结束了。但张自忠一腔热血，满怀壮志，决心再次投军。
车震了解张自忠的心思，也赏识他的意志和热情，想趁去天津办事的机会，把他介绍给驻军廊坊的自己的盟兄弟冯玉祥。
冯玉祥，字焕章，1882年生于直隶省（今河北省）青县。幼时因家境贫寒，入保定“五营练军”当兵。1902年投奔袁世凯的新军。由于他勤奋好学、埋头苦干、作风顽强，1910年任第二十镇某营管带，后又升任京卫军团长。冯玉祥打破当时一般军队因循敷衍的陈规，创造了新的练兵方法，培养造就了一批批优秀青年军官。1914年，冯玉祥部扩编为第十六混成旅，成为一支很有战斗力的武装力量。冯任旅长，驻军天津附近的廊坊。
1916年9月，车震把张自忠带到冯玉祥的驻地。冯听了老友的介绍，又见张身材魁梧，像个山东大汉，且显露出英武、沉毅之气，很是满意。
张自忠投奔冯玉祥，实际上是他军旅生涯的真正开始。