张自忠投奔冯玉祥之初，被委为中尉差遣，即见习官。不久，正式任命为排长。这年，张自忠已25岁了，而比他年轻，后来也是赫赫有名的战将佟麟阁、吉鸿昌、冯治安等，此时都是连长了。
1919年初，张自忠入军官教导团学习。冯玉祥经常对学员们说：“只有刻苦地学习，刻苦地训练，才能有救国救民的真本事。”张自忠牢牢记住了这句话，他勤奋学习，虚心求教，每次考试的成绩都名列前茅，因而得到教导团团长鹿钟麟的赏识，冯玉祥也称赞他“确是一个有用之材”。后来，冯提到张自忠这段经历时说：“在教导团中，他又做了一个标准的团员，当时鹿钟麟团长非常夸奖他。他非常勤学，对人处事都极其真诚友爱，又能刻苦耐劳，这时便显出他未来一定是个将才。”
张自忠在教导团学习半年结业，提升为连长。1920年初，委任他为旅部上尉副官。4月，调他为水上陆战队第二队队长。不久，又调到学兵连（由学生出身的新兵编成）当连长。不到一年时间，他的职务换了六七次。在哪个岗位上，他都干得很好，出色完成了任务。他所带的连队，考试成绩经常是全旅第一，号称“模范连”。
张自忠纪律严明，当罚则罚。谁犯了纪律，做了错事，他毫不含糊，动起怒来，瞪圆眼睛，“败类”、“害群之马”，骂不绝口。每次还要带上一句：“看我扒了你的皮！”这样，他得到了一个“张扒皮”的浑号。一些人误以为张自忠粗暴、蛮横，只知惩戒。实则，张深知“治兵先治心”的道理，他是“严中寓恩”、“恩威并用”。以打军根为例，不是滥施棍杖，遇过即打。他提出了八不打：有病不打，盛气不打，盛暑不打，饭前不打，无恩不打，罚过不打，夯兵不打，不知不打。衡量再三，很有分寸。
张自忠当排、连长时，能与士兵打成一片，相处无间。他经常与士兵吃在一起，住在一起，说笑话，拉家常，每个士兵的性格、特长、思想、家庭状况等，都了如指掌。士兵也不怕他，经常到他屋里翻箱倒柜，发现了钱或什么东西，便一抢而散。张自忠每月的薪饷几乎都用在士兵身上。他在连队设图书馆、俱乐部，购置运动器材。士兵生活上遇到困难，只要他手头宽裕，就说：“要多少，写个借条来。”有的士兵对他很了解，预先写好借条，然后再向他开口。这样“借”去的钱，自然都不须偿还。
1920年秋，冯玉祥旅成立了一个直属旅部的学兵队，下辖两个连。冯汉安任队长，兼第一连连长，张自忠任第二连连长。冯比张小5岁，1912年就在冯玉祥的部队当兵。冯待人诙谐风趣，张则是刚毅寡言。两人刚柔相济，配合默契。此后长期合作，私交甚厚，曾互为上下级。20年后，张自忠壮烈殉国前，张、冯分别是第三十三集团军的正、副总司令。
冯玉祥的第十六混成旅属北洋军阀的直系。在直皖战争中直系取胜。1921年2月，冯奉命率部进驻陕西。不久，将第十六旅扩编为第十一师，兵力达3. 5万人。冯治安升任营长，张自忠为副营长兼学兵队队长。8月，冯玉祥任陕西省督军，组建卫队团，张自忠任该团第三营营长。
1922年春，北洋军阀直奉两系燃起战火，冯玉祥的第十一师奉命进驻河南。战后冯被任命为河南省督军。冯抓住良机，广募新兵，兵力达5万人。为了培养初级军官，冯玉祥成立了学兵团。冯亲自兼团长，张自忠任第一营营长。此时，张练兵已小有名气，但因资望不够，冯责成他以第一营营长名义管理全团训练。冯玉祥军务繁忙，无暇顾及学兵团，全团工作实际上由张自忠负责。学兵团是冯玉祥治军的样板，凡有检阅，必以该团为前列。冯玉祥将这样重要的任务交给张自忠，可见对他的信任和器重。
1922年10月，冯玉祥调任陆军检阅使，驻军北京南苑和通州一带。1924年春，张自忠升任学兵团团长。他虽当了团长，仍勤奋努力，埋头苦干，有险重任务冲在前面。这年，为疏通永定河旧河床，冯玉祥命令学兵团，赶在春汛到来之前完成任务。张自忠带领全团官兵决心提前完成。他除了督导指挥外，还亲自挖土、抬筐，手磨破了，肩压肿了，照样干。眼看要竣工了，洪水却提前到来。张自忠一面派人挖导水沟，一面叫人堵住水头。可是水势凶猛，撂下去的石块、土块在水中翻几个跟头，就冲走了。张自忠急中生智，几步冲进水里，官兵们也跟着跳了下去。张见水里的人站成了一排，便扑通一声躺到了人墙背后，随即有很多人也躺到水里。这样，一道人体堤坝筑成了。与此同时，那边的导水沟挖好了，从而避免了一场水患。
1924年秋，张自忠的学兵团移驻丰台。丰台被英国军队盘踞多年。张部到达丰台车站时，英军不准进入。张自忠派一个连强行进驻。英方派人交涉，张严正指出：“丰台车站是中国的领土，中国军队在自己的领土上执行任务，外国人无权干涉！”英军派兵包围了车站。张自忠下达命令：“他不犯我，我不犯他，他若犯我，坚决消灭他！”英军射击寻衅，气焰嚣张。我即还击，并突袭敌后，英军不支，撤退。驻在铁道上的英军不准我执行任务的士兵携带武器，冲突再起。英方要求中国撤兵，张说：“这是中国的领土，不是英国的地盘，撤退的应该是你们！”英军碰到了强硬的对手，理屈词穷，只得撤出丰台。
张自忠第一次与洋人打交道，就显示了铮铮铁骨，不畏强暴，维护了国家的尊严。后来有人评论说：“张将军以他平时的人格的修养，独能以不屈不挠的态度，应付他们，较之当日的统兵大员，已觉出人头地一等。”
1924年9月，冯玉祥借直奉战争之机，发动“北京政变”，直系军阀失败。冯将所部及参加倒直的部队组成国民军，自任总司令。翌年1月，冯玉祥被任命为西北边防督办，率军到贫瘠的西北地区，督办公署设于张家口。不久，国民军被改称为“西北军”。该年9月，张自忠升任第十混成旅旅长。1927年4月，冯玉祥率部参加北伐，被任命为国民革命军第二集团军总司令，率部移驻河南省郑州。同年底，张自忠升任第二十八师（后改编为第二十五师）师长，兼郑州警备司令，负责维持郑州治安，保卫总部安全。第二十八师是第二集团军编制最完整、装备最精良的一个师，被冯玉祥定为“荣誉师”，且担任卫队师的任务。从这个安排，再次说明冯玉祥对张自忠的信任和器重。
为了培养初、中级干部，冯玉祥在学兵团的基础上成立了一所军官学校。由于张自忠多年任学兵团团长，有丰富的军事教育经验，故兼任军官学校校长。1928年7月，第二十八师和军官学校都移驻开封。