1937年12月7日，张自忠到第五十九军就任军长。该军下辖2个师，共5个旅，总兵力约3万人，驻河南省焦作一带。全军热烈欢迎老长官归来。张在欢迎会上讲了奉命滞留北平的情况，并说：“现在敌人气焰嚣张，正是我们戴罪图功的时候。无论什么部队都可以打败仗，唯有我们不能打败仗，我们只有下定死战的决心，与敌人一拼到底，才能求得国人的谅解，也才能对得起自己的良心。”
张自忠一回到部队，就对全军进行整训，在他精心组织和严厉督饬下，加紧实战训练，全军技术、战术水平有了明显提高。
1938年1月初第五十九军由第一战区（宋哲元为副司令长官）改属李宗仁的第五战区。
1938年2月4日第五十九军奉命南下，增援淮河前线。张自忠抓住战机，指挥部队在淮北痛歼敌军，敌阵脚大乱，伤亡2500多人，被迫放弃淮河北岸阵地，退守南岸。此为淝水之战，张自忠首战告捷。
日军由于淮河一线受阻，遂改以北路军队，从青岛出发，直攻临沂，并沿津浦铁路南下，攻击台儿庄和徐州。攻击临沂的板垣征四郎的日本陆军第五师，是日军战斗力最强的4个师之一，号称“铁军”。该师下辖4个步兵团，骑兵团、工兵团、野炮兵团、辎重兵团各一个，总兵力2. 5万人，拥有一流装备和7600匹战马。
3月10日，张自忠部奉命增援临沂。14日凌晨，第五十九军向敌发起猛烈进攻，经过3天浴血奋战，给敌以沉重打击，自身伤亡3500多人。第五战区准备将第五十九军撤出战斗休整，张自忠要求再战。16日夜，第五十九军在友军配合下，再次向敌猛攻。经整日激战，英勇拼杀，至17日下午，击溃敌3个团，歼敌5000多人，击毙敌一名上佐（校）团长、一名中佐营长和数十名军官。
临沂大捷，振奋人心，举国同贺，大大鼓舞了全国人民抗战胜利的信心。蒋介石致电李宗仁、张自忠：“临沂捷报频传，殊堪嘉慰。仍希督励所部，确切协同，包围敌人于战场附近而歼灭之。”临沂之战，由于敌板垣第五师被击溃，就粉碎了他与矶谷师团会师台儿庄的图谋，造成矶谷部孤军深入被我围歼的局面，因而临沂的胜利为台儿庄大捷拉开了序幕。
1938年5月中旬，日军调集大批兵力，形成对徐州地区的包围，妄图一举围歼第五战区的主力40余万人。数量如此之大的部队如被围困，后果不堪设想。李宗仁决定突围，将掩护大部队后撤的艰巨任务交给张自忠的第五十九军和另外三个师。此时，张已升任第二十七军团军团长，兼第五十九军军长。
5月16日，大部队开始撤退。由于各路军队混杂，缺乏统一指挥，且后有敌兵追击，上有敌机轰炸，几十万大军行动迟缓。富有带兵经验的张自忠，下令第五十九军官兵翻戴军帽，与兄弟部队相区别，便于指挥和行动。我军在撤退中，不断遭到敌军拦击。张自忠命令所部全力投入战斗，掩护大部队突围。危急时，张亲率手枪营走在全军的最后。有一次，部队在一个小镇上休息，突然飞来3架敌机狂轰滥炸，张卧倒在路边的凹入处，一颗炸弹在附近爆炸，气浪溅击的泥土，掀掉了他的军帽。作为高级将领，在艰苦而危险的远程突围中走在部队的最后，这在国民党军队中是极罕见的。
经过近半个月的千里行军作战，历尽艰难险阻，6月1日，第五十九军胜利完成掩护大部队后撤的任务，抵达新的集结地。徐州突围的成功，使中国军队保存了数十万有生力量，这对以后坚持持久抗战具有重大意义。
日军占领徐州后，继续向华中进犯，妄图攻陷华中重镇武汉，围歼中国军队的主力。
1938年8月22日，日军由合肥西犯，图谋占领河南省南部的潢川、商城，以配合其对武汉的进攻。第五战区急令第五十九军奔赴满川布防。9月7日，日军进至潢川的东部，遭我军阻击，敌我均有重大伤亡。日军连日进攻没有进展，竟大量施放毒瓦斯弹。在危急时刻，张自忠进入潢川城，决心与守城官兵共存亡。敌以密集炮火轰击潢川城，并向城内投掷毒气弹，我军伤亡急剧增加。16日午后，敌集中大量野炮和重炮，对潢川城进行更猛烈的轰击，毒气弹的施放量也增加了几倍。17日中午，敌军冲入城内，张自忠下令，架起刺刀，与敌肉搏，战斗进入白热化状态。面对敌军不断涌入城内的险恶局面，张自忠一面组织敢死队发起攻击，将敌人的突破口封住；一面指挥官兵消灭冲入城内的敌军。至18日，第五十九军完成了阻击日军的任务，于19日凌晨撤出潢川。
潢川守城战，第五十九军孤军抗敌，阻击敌兵12天，为后方友军的集结争取了时间。此役共歼敌3000余人。敌电台广播说：“皇军在潢川方面曾遭到华军极强烈之抵抗，致蒙受巨大之损失。”在这次战斗中，我军伤亡4000余人，4名营长殉国，可见战斗之惨烈。
张自忠参加抗战以来，连战皆捷，战功显赫，名声大震。1938年10月，升任第三十三集团军总司令，冯治安为副总司令，下辖3个军，总兵力5. 5万人。一个月后，张自忠为第五战区右翼兵团（又称右集团军）总司令。
1939年4月初，中国军队发动“四月攻势”，张自忠率部向襄河东岸的日军出击，张亲临前线督战。是役歼敌2000多人，并收复了部分失地。蒋介石特致电张自忠：“此次京山之役，贵部坚强抗战，屡挫凶锋，使全线稳定，厥功甚伟，特奖赏洋2万元，代备死伤官兵抚慰等临时补充之用。”国民政府主席林森签发命令，授予张自忠宝鼎勋章一枚。