1929年4月，张自忠和他的二十五师突然接到冯玉祥的命令，撤向潼关集结。张自忠立即率领二十五师离开开封，派人把李夫人和孩子送到西安安置。
为什么冯玉祥会命令二十五师和西北军西撤到潼关集结？这自然是和政治形势有关。
“二次北伐”，由于蒋介石发动“四·一二”政变、国共合作破裂而夭折。“二次北伐”的结果，直、皖军阀解体，奉系退回东北。但国内又形成许多军事集团，而实力最强的有四个：即以蒋介石为首的、有着中央政府名义的、得到英美支持的中央军事集团；以冯玉祥为首的西北军；以阎锡山为首的山西晋军和以李宗仁、白崇禧为首的广西桂系。这四个军事集团中，以冯玉祥的西北军实力最为雄厚，总兵力达40余万人。
冯、阎、桂军事集团的存在与壮大，对蒋介石的中央集权和个人独裁统治是不利的，必须削弱。这种新的军阀割据形势，必然会导致一场以新的吞并为目的的军阀混战。
为了削弱这三大派系的军事实力，蒋介石以减少军费负担、从事经济建设为名，提出裁军问题。
1928年8月，国民党五中全会通过了军事整理问题案。1929年1月1日，蒋介石主持召开编遣会议，通过了《国军编遣委员会进行程序大纲》等一系列文件，确定全国设立八个编遣区。蒋介石控制了其中四个。蒋介石还规定全国军队的一切权力收归中央；各军原地静候改编；各集团军无权自行调动与任免军官等。
这些决定，对蒋介石有利而对其他各派不利，当然会引起冯、阎、桂系的强烈不满。冯玉祥决心联合阎、桂倒蒋。
在南京编遣会上，对于蒋介石削弱异己的做法，冯玉祥、李宗仁都表示反对。蒋介石拉拢阎锡山，但阎也感到受到了威胁，也萌生了反蒋的思想。但阎锡山却始终在反蒋、拥蒋上摇摆不定，一味搞政治投机，对后来的局势影响很大。
冯玉祥在陕西扣押了蒋介石派出的编遣监督组人员。蒋介石命令第八军军长唐生智进攻冯玉祥。唐生智却在阎锡山的支持下反蒋；可随之阎锡山却又拥蒋打唐，从中获利。
冯玉祥下令西北军主力撤往潼关，但第二十师师长韩复榘却反对向西北退兵，受到冯玉祥的斥责。其时，韩复榘已暗中被蒋介石收买而投靠了蒋介石，但冯玉祥却不知道韩正是要找一个借口，公开叛他而投蒋。所以受到冯玉祥斥责的韩复榘，便“一怒”而公开叛离冯玉祥投靠了蒋介石。
阎锡山玩弄两面派手法，狡猾地联唐反蒋，复又拥蒋打唐，从中获利。唐生智失败后，蒋介石也觉得阎锡山太过于狡诈，命韩复榘在郑州活捉阎锡山以除后患。但却被阎锡山知悉逃回太原。
在这种错综复杂的形势下，新军阀混战已在实际中拉开了序幕。
蒋介石收买韩复榘叛离了冯玉祥，接着又收买了石友三、马鸿逵、李虎臣。这三人也通电反冯，投靠了蒋介石，使冯玉祥的西北军实力大损。尤其是韩、石两人率领的第二十师、二十四师，也是西北军的精锐部队，两人还是冯玉祥一手培养起来的。他们的背叛，使西北军的元气大伤。叛冯投蒋的总兵力达10万余人，使冯玉祥非常痛心。张自忠本来已率第二十五师奉命撤到潼关 ，但此时却有人在冯玉祥面前进谗言，说张自忠此前也和韩复榘、石友三一样叛投过阎锡山，从韩、石二人再次投蒋，也可以反证张自忠也不可靠，定会怀有贰心，不能不防，不可再让他手握重兵，以步韩、石后尘，招致西北军再受巨大损失。
冯玉祥在当时也感到不得不防，不久便免去了张自忠第二十五师师长职务，专任潼关警备司令。
二十五师扩编为第四军，由张凌云任军长。张接任后，大量任用私人，而把二十五师老的军官大批撤免。
张自忠失掉实权，情绪消沉，不久即赴西安与家人团聚。这倒也好，使他在戎马倥偬中得以和妻子儿女一起，有一段亲情天伦之乐。
蒋介石得到韩复榘的电报，得知冯玉祥令山东、河南西北军西撤。知道这是为了对付自己。5月25日他用国民政府名义，下令讨冯。
阎锡山见蒋介石采取各个击破办法，解决了李宗仁，又要解决冯玉祥，将来就要轮到自己。为要挟蒋介石，他就打电话劝冯玉祥下野出国，并且表示愿意陪同。
冯玉祥接到阎电，即通电下野。
6月28日，冯玉祥由潼关到了太原。阎锡山隆重接待后，借口保护，将冯玉祥软禁在五台县的西会村（河边、建安两村之间的阎锡山别墅），后移建安村，又移晋祠，以待时局之变化。西北军将领对于阎锡山软禁冯玉祥，以讨好蒋介石并从中取利的做法甚为气忿，但又毫无办法。
冯玉祥失去自由，便委任宋哲元代行总司令职权。
阎锡山发觉蒋介石要韩复榘在郑州扣留他时，才下定了反蒋的决心。当时阎占据晋、冀、察、绥四省及平津两地地盘，掌握着华北六省市的军政大权及资源，拥有20余万军队，已具备与蒋对抗的实力。
阎锡山向蒋提出“组织元帅府或枢密院、元老院，蒋介石、冯玉祥、李宗仁及自己（阎），均摆脱军政事务，入枢密院或元老院”的主张，并佯称：“个人拥有之武力，为党国之障碍，应一律交还于党，再实行编遣。”
蒋介石坚决反对，声称：“国有纲纪，党有纪律，个人进退，绝无自由，本人（蒋）在党国命令之下，须用武力以戡乱。下野无异为反动者解除武装，阻止本党革命。”
他态度强硬，表明要以武力强制执行。
阎锡山、冯玉祥、李宗仁等45人针对蒋电，于18日提出了由全体党员总投票决定“党统”问题的通电。汪精卫首先响应。
在蒋、阎开展“国是”争论期间，国民党反蒋各派系及大小军阀，纷纷派选代表麇集太原。
有国民党的改组派汪精卫、陈公博、王发勤、顾孟余、白云梯、王懋功等；国民党西山会议派的邹鲁、谢持、覃振、李锡九等；冯玉祥方面的李书诚、李兴中、刘治洲、邓哲熙、陈继淹等；李宗仁、白崇禧的代表潘宜之；刘文辉的代表胡畏三；韩复榘的代表聂相溪、刘熙众；石友三的代表毕广垣；樊钟秀的代表邓鸿业；孙殿英的代表胡捷三、高孟琴；何键的代表黄一欧；刘镇华的代表楚经纬；万选才的代表万殿尊；张学良的代表葛光庭；唐生智的代表袁华选；任应歧的代表刘觉民；井岳秀的代表刘绍庭；马鸿逵的代表康玉书；岳相如的代表马骥才；刘湘的代表袁鸿吉等。宋哲元、陈调元、金树仁、刘茂恩、刘桂堂、刘春荣等亦派有代表参加。各派代表计50多人。
2月28日，冯玉祥也由建安村抵达太原，和阎锡山策划倒蒋办法。
在此期间，山西高级将领商震等发表了阻阎出洋的通电；李宗仁、张发奎等发出了推阎为陆海空军总司令，冯玉祥、张学良为副总司令的通电；鹿钟麟等57人继李宗仁等通电后又发表了拥护阎锡山、冯玉祥、李宗仁、张学良为陆海空军总、副司令领导倒蒋的通电。
阎锡山召开了所有军阀代表参加的倒蒋会议，又召开了高级军官的倒蒋会议。
两次会议决定集结重兵，沿平汉线、陇海线和津浦线三路分别进军，并决定冯玉祥回陕指挥西北军。冯玉祥于3月8日由太原起身秘密回陕，10日抵达潼关。
接着阎锡山在太原成立了陆海空军总司令部，以刘骥为参谋长，辜仁发为参谋处长，潘宜之为军政处长，贾景德为政务处长。
3月21日阎锡山、冯玉祥公开发出倒蒋通电。全国各个反蒋的大小军阀陆续起而响应。
4月1日，阎、冯分别在太原、陕州就任总、副司令职，并决定在北平组织军政府。
蒋介石也于4月5日正式下令，免除阎锡山的本兼各职，着各省各军队严拿惩办。
中原军阀大混战开始了军事行动。
西安，这是中国的古都之一，古名长安，曾是西周、西汉、隋、唐等朝国都，地处富饶的800里秦川，物华天宝，人杰地灵。
在西安城中，二府街的二府园22号，住着一户人家。他们搬到这里的时间不长。主人是一个中年妇女，平日深居简出，很少有人能见着她。另外还有一个青年，大约十八九岁，还有一个十二三岁的小男孩和两个女孩，那两个女孩只有七八岁光景。管理这家日常事务的是两名军人，他们叫那青年为“大少爷”，小男孩为“三少爷”，叫两个女孩为“小姐”。由此可见这家人家是一个军官家庭。
周围邻居，尚未见到这户人家的男主人，只知道这家人姓张，却不知男主人在军队里是个什么官。其实这家人上上下下，对邻居们都蛮客气，从来没有仗恃自己是军官家属而欺凌百姓的事情发生。
那被称为“大少爷”的青年，每天都是拎着一个公文包，早出晚归，看那样儿，是在哪个单位工作。
这一天，一个身材魁梧、浓眉大眼、英气勃勃的军人，跨进了二府园22号的门。
他的出现，立即引起了这宅第的一阵欢快的骚动。那小男孩和两个小女孩正在院里玩耍，一抬头发现那军人，立刻发出一声欢呼，撒出一串银铃般的笑声向他扑了过去。
他也绽开了平日难得一见的笑容，迎着孩子们快走几步，然后蹲下身来，张开一双强壮而有力的臂膀，迎着向他扑来的三只“小燕子”。三个小孩扑上来，三双柔嫩的小手，搂住了他的脖子。他的一双大手，也把三个小孩搂在怀里。小男孩和那小女孩喊他：“爸爸！”那稍大一点的小女孩则喊他：“大爷！”
那位女主人，听得院里的喧闹，也从里屋走了出来，倚着堂屋的门，看着院里和三个小孩子搂在一起的中年军官，她的嘴角，也漾起了一丝笑意，那双美丽的眼里充满着一种幸福与期待。
原来，这军官就是张自忠。这里就是他在西安的家。他现在回到他的家里来了。那女人便是他的妻子李敏慧，这三个小孩，男孩是小三儿廉静，大一点的小女孩是他的侄女廉瑜，小的女孩是女儿廉云。
爷儿四个亲热了一阵，张自忠放开孩子们站起身来，望着站在台阶上的妻子。妻子眼光里带着一种只有两情相通、两情相悦的爱人、丈夫才能读得懂的丰富而复杂的情与爱意。
李敏慧脸上带着微笑，眼里带着泪花，轻声地说道：“您回来了？”
张自忠点点头：“回来了。你好吗？”这个刚强的男子汉，声音也变得柔和起来。
“好，好。家里的人都好。”她的声音因激动而显得有些颤抖。
护兵接过张自忠肩上的包，李敏慧把丈夫让进屋里，佣妇送上一杯茶来，知趣地悄悄退了出来。
三个孩子又跑到院子里嬉戏去了。屋里只剩下他们夫妇俩。两人相对而立，默默而深情地对望着，许久无语。突然张自忠张开他那强壮有力的双臂，一下子把妻子搂在怀里。她把面庞贴在丈夫的胸膛上，两颗心紧紧地贴在了一起。两人默默相拥着，真可谓百感交集，千言万语，不知从何说起。她禁不住在丈夫怀里轻轻啜泣，他轻轻地拍着、抚着她的肩，把她搂得更紧……
她终于从他的双臂中挣开，抬手用衣袖抹去泪水，柔声地问道：“这次是回来开会？”
张自忠本来挂在脸上的一点笑容没了。他无奈地长长叹了一口气：“不是。大约要在家里闲住一个很长时间了。”
“为什么？出了什么事？”李敏慧惊诧地问道。
“总司令把我的师长职务免了，只给我一个没有实权的虚衔，潼关警备司令。在那里闲着没事，心头也有点闷，就想你和孩子，所以就回来看看你们，在家里住一段时间再说。”张自忠眉头紧锁地说。
“总司令为什么要免你职呢？”
“这次总司令要想联合阎锡山、李宗仁他们倒蒋介石，为了准备进攻，便命令各部西撤到潼关集结。”
李敏慧说：“这个我晓得呀，我们不也是因为这才把家从开封搬到西安来的嘛。”
张自忠说：“我们第二十五师是撤回来了，可是韩复榘却拒绝西撤。大约为此事总司令便训斥了他几句，这个韩复榘便率领第二十师叛离西北军，投靠蒋介石去了。不仅如此，石友三也率第二十四师投了蒋介石，还有李虎臣、马鸿逵部也叛了。仗还没有打，西北军就损失了十来万人。”
李敏慧说：“韩复榘、石友三他们叛变，和你毫无关系嘛，怎么会牵扯到你头上呢？”
张自忠道：“本来他们是与我没有丝毫关系，可是不知谁人，却拿了石友三、韩复榘的事来做我的文章。有人在总司令面前说：石、韩二人，前年背叛总司令投阎锡山，这次又背叛总司令投蒋介石，证明他们有贰心。张自忠也曾投靠阎锡山，也有贰心靠不住。总司令便听信了谗言，所以把我二十五师师长的职免了，只让我作潼关警备司令。二十五师扩编为第四军，总司令任命张凌云为军长。潼关无事可干，所以我便回来住一段时间。”
李敏慧道：“既然事已至此，你也就放宽心，这些年来，你也难得有清闲的休息时间，就借此机会好好休息一下，养养身子。我想总司令总会想通的。到时他一定还会起用你的。”
张自忠苦笑道：“不错，事已至此，除了等待，还能有什么呢 。”
张自忠转变话题：“廉珍呢，上班去了？”
李敏慧说：“对，他上班去了。从开封军需学校毕业，把他分配到陕西财政厅工作。这孩子忠厚老实，倒是令我们大人放心得很。”
张自忠说：“这倒是，他守成可以，但要干番较大的事业却差了一点。”
这时三个孩子又从外面跑进屋里来了。李敏慧为了让丈夫散散心，消除因被免职的苦恼，便对张自忠和孩子们道：“听说今晚城里‘易俗社’王天民、康顿易主演《柜中缘》，我叫人去买票，晚上我们全家人都去看戏去。”
三个孩子一听，乐得跳了起来，拍手欢呼：“好哇！好哇！晚上看戏去。”
张自忠不忍拂逆夫人的好意和扫孩子们的兴，便道：“好吧，我们全家难得聚在一起，大家都去。多买几张票，让两个护兵和刘妈他们全都去。”
张自忠便在西安家中住了下来。有时与朋友打打牌，有时全家人去“易俗社”看看戏，更多的时候便是一张纸，一枝笔，或者一本书，一杯茶打发这闲得无聊的日子。
他本来就是一个寡言少语的人，由于遭谗免职一事沉郁心中，就更少说话了。只有三个小孩的天真活泼，才会使他暂时忘却心中的烦恼。
对两个儿子，他倒是更喜欢廉静。小廉静长相英俊，聪明活泼。他希望这孩子长大成才。所以他在家中都不按惯例呼“小三儿”（大排行），而是像队伍上点名一样直呼其名：“张廉静！”廉静也会立正高声回答：“有！”张自忠有时会说：“来，给我唱一段《南阳关》。”
“是！”廉静会跑过来，在父亲面前用他那童声唱：“恨杨广，斩忠良，谗臣当道！……”
张自忠从孩子唱的戏中，仿佛也发泄了一些心中的愤懑。
张自忠对孩子的学习、成长很是关心，他把廉瑜送入西安女子师范学校附属小学读书，还请了一位姓石的女教师，为廉静、廉瑜、廉云补习功课。
有一天，张自忠发现大儿子廉珍一个“秘密”。廉珍把这个“秘密”隐瞒着没有告诉自己的父母，直到父亲张自忠发现的这一天。
这天张自忠因闲来无事，便一个人上街走走。
他信步行来，不觉走到陕西省财政厅的大门口，一抬头，便看见挂在门口的牌子。他不禁心中一动，儿子在这里上班，今天既然走到这里来了，不如进去看看，看看儿子工作得怎么样。他迈步向里走去。
门房不认识他，便问道：“先生，你要找谁？”
张自忠摸出自己的证件：“我叫张自忠，我的儿子张廉珍在你们这里上班。今天我路过这里，想顺便进去看看他。”
门房看了张自忠的证件。西安这里是西北军的地盘，张自忠是西北军的高级将领，门房自然不敢为难，便放他进去，并且告诉了他张廉珍办公室所在。
张自忠走进张廉珍的办公室。父亲意外的出现，使廉珍措手不及，有点慌乱。他赶忙站起身来，将父亲让到沙发上坐下：“爸，今天您怎么突然上我这儿来了？有事么？”
“没事。”张自忠答道，“今天家里没人来，我呆在家里觉得闷，便上街来走走。信步便到你们单位这里来了，也就临时决定来看看你。”
这时一个十二三岁的小孩，给张自忠端了一杯茶来：“您请用茶。”小孩还显得挺有礼貌。
张自忠接过茶，打量眼前这孩子，虽然显得瘦弱，但眉目清秀，一副机灵样儿，衣着也很朴素。
张自忠不禁奇怪，问廉珍：“怎么？你们单位还用童工？”
张廉珍显得有点腼腆：“不是童工。”他把被张自忠瞧得躲到自己身后的孩子拉了出来：“叫爷爷。”
那孩子恭恭敬敬对着张自忠深深地鞠了一躬，低垂着头喊了一声：“爷爷！”那声音小得像蚊子叫。
张自忠被搞糊涂了，瞪着廉珍：“爷爷！？这是怎么回事？”
廉珍双手扶着孩子双肩道：“爸，您听我说，情况是这样的。”
“好，你说。到底是怎么一回事？”
廉珍道：“这孩子是我捡来的。事情的经过是这样的……”
原来1926年以来，陕西持续干旱，加之镇嵩军刘镇华部围困西安长达10多个月，许多人无家可归，流落街头。前些日子，有一天廉珍上班，发现有个十二三岁的小男孩饿倒在街头。生性忠厚的廉珍心中不忍，便把孩子抱到办公室，喂了一杯牛奶，把他救醒，问起孩子的家中尚有何人，原来他家里人都全部饿死了，已经无家可归，他已有四五天没有吃东西了，所以才饿昏在街头。如果不是廉珍救了他，他也会饿死在街头。廉珍可怜这无家可归的孤儿，便收养了他。他不敢把孩子领回家，也不敢告诉父母，把孩子领到办公室，用自己的薪水养活着，并且给孩子取了个名字叫学义。
张自忠听了，没有责怪廉珍，对他道：“这是好事嘛，你完全做得对。但有一点你做得不对。这事你应该早就对你妈讲，不应该瞒着父母哇。”
一席话，说得忠厚的廉珍憨憨地笑了。
张自忠把学义叫到跟前，问了他的情况，学义一一地作了回答。最后，张自忠站起身来，拉着学义的小手，对廉珍说道：“我把他带回去了，以后就让他住在家里，算是你收养的儿子，也是我们家中的成员。不要让他住在办公室了，这成什么话。”
张自忠站起身来，对学义道：“走，跟爷爷回家住去。家里有奶奶，家里有小叔和两个小姑姑，你可以同他们一道玩，一道上学。”
张自忠牵着孩子的手走了。
廉珍怔怔地望着父亲那强壮、宽厚的背影，宽心地笑了。
这个孩子被张自忠一家收养下来，长大成人，并且还帮他成了家。这是后话不提。
光阴荏苒，张自忠已在西安家中“赋闲”了几个月。这一天，他在家里院中的葡萄架下摆上一张凉椅，几上放了一杯茶，摇着蒲扇，半躺在凉椅上看书。
这时一个人从外面走了进来，一进门便大声嚷：“荩忱在家吗？”
张自忠闻声抬起头来一看，却原来是与他换过帖拜过把的冯治安。
张自忠站起身来招呼他坐，问道：“你怎么今天有空跑到我这儿来了。”
冯治安满面春风：“我们俩可是拜过把、换过帖的好兄弟，我当然应该来看你呀。怎么，难道你不欢迎？”
张自忠道：“你来看我，我已是高兴得很，哪会不欢迎呢。”
李敏慧听得冯治安来看望张自忠来了，亲自端了一杯茶出来：“冯大哥，你来了可好，他看见你，也许会高兴一些，免得他一天愁眉苦脸的。你们弟兄俩多谈谈，我去让刘妈他们多准备两个菜，中午就在我们这里吃顿便饭，你们两个喝两杯。”
冯治安笑道：“嫂子，你不用张罗了，我一会儿要走，我还要把荩忱也要拖走哩。”
李敏慧一听就知道两人要谈公事，便道：“那好，我就不管你们了。你们慢慢谈。”说着便回到里屋去了。
冯治安望望李敏慧的背影，对张自忠道：“嫂子可是个贤惠人呀，你有这么一个贤内助，真令人羡慕得很。”
张自忠点头不语。
冯治安端起茶杯喝了一口茶后道：“你知道不知道，总司令应阎老西之约去太原，被阎老西这个老狐狸软禁起来了。”
张自忠又点点头：“总司令也太相信阎锡山这种人了。唉！可惜我现是‘不才明主弃’，想为总司令效力都不能哩。”
冯治安道：“当时我们好些人都劝总司令别去太原，但都没能劝住他。现在总司令被阎老西软禁，总司令托人带信来，指示让宋明轩（宋哲元字明轩）代理总司令之职。宋代总司令和我都了解你，也完全清楚你当时被石友三、韩复榘逼迫投晋的前因后果，所以这次他要我来找你，要你‘出山’。至于要干什么，我且先卖个‘关子’，等你见了宋明轩代总司令后，由他向你宣布。”
张自忠听冯治安这一番话，心情十分激动。这几个月来积郁在心中的阴霾一扫而空。他颇为感激地说：“谢谢宋代总司令，谢谢你。你们两位在我失意的时候能这么信任我，给我以援手，我会永远感激的。我会以实际行动来证明我不是石友三、韩复榘一类人的。”
冯治安道：“这么说来，你是同意出来做事啰。那好，宋代总司令正在等着见你哩。你去换了衣服便同我一起去见他吧。”
张自忠从躺椅站了起来说：“好，我换了衣服马上就走。”
冯治安陪着张自忠来见宋哲元。宋哲元见张自忠到来，很高兴，说道：“荩忱，见到你很高兴，这一段你受委屈了。你也不必把它记在心上，现在一切都过去了。总司令现在被阎老西软禁在山西，授意我代行总司令职务。我和治安便想到了你，所以我们研究，决定要你出来工作。对此你没有意见吧？”
张自忠道：“代总司令和治安兄对自忠的关怀，使我十分铭感。知遇之德，敢不尽心竭力以报。自忠愿追随鞍前马后，供二位驱策。”
宋哲元道：“我想让你充任治安的副手，暂时担任十一军副军长之职，协助治安整训好这支队伍，先熟悉一下情况，下一步再作安排。如何？”
张自忠道：“自忠一切听从二位的安排。只要不让我闲着就行。”
冯治安道：“目下是多事之秋，怎么会让你这员大将闲着呢！就是你想闲着，形势也不会让你闲着，西北军也不会让你闲着，大伙儿也不会让你闲着嘛。”
宋哲元道：“那就这么说定了。你们两位大约都还没吃饭吧。那就别走，中午算我请客。”
不久，张自忠又兼任了第二十二师师长之职。
10月10日，宋哲元等27名西北军将领在冯玉祥的授意下联名反蒋。蒋介石派唐生智部讨伐西北军，揭开了中原混战的序幕。
蒋冯战争正式开火，张自忠奉命率第二十二师开赴河南参战。在攻打洛阳以东黑石关地东山战役中，他作为这一战役的指挥官，指挥第二十二师，田春芳师、周永胜师及一个炮兵师，与蒋军上官云相、肖之楚、徐源泉三个师展开了激战，一举击溃了蒋军这三个师，取得了这一战役的全胜，展示了他军事指挥的才能。
宋哲元对这次战役十分满意，对他十分赏识。
但是这个时候的阎锡山，仍然在施展他的两面手法，一面与冯玉祥、李宗仁联手反蒋，却又软禁冯玉祥以作筹码，要挟蒋介石；另一方面又与蒋联合打击唐生智，就任蒋介石委任的陆海空军副总司令职位，对蒋介石按兵不动，任由西北军孤军作战。这时孙良诚又与宋哲元不和，使西北军难以统一指挥。最后西北军主力不得不从河南退回陕西。这第一次反蒋战争失败。
这年底，鹿钟麟继宋哲元就任西北军代总司令。他将原二十五师扩编的第四军重新编为第六师，将第四军军长张凌云免职，调张自忠就任第六师师长。张自忠又回到老部队，官兵们因老长官归来欢呼雀跃。
张凌云在接管二十五师后安插私人，把二十五师的许多旅、团长都撤换。张自忠复职后，却仍然重用他们，信任他们，团结了大家，也稳定了军心。
第六师在天水得到过之纲第十五军（新兵军）的补充后，兵员恢复到两万多人。张自忠将这两万多人整编为三个旅，原第四军第九师为第十六旅，仍由原师长张春棣任旅长，张宗衡任副旅长；原第四军第八师为第十七旅，仍由原师长王修身任旅长；由十五军拨来的新兵旅为第十八旅，原旅长佟泽光留任，李九思为副旅长。新兵旅有三分之一为回民，张自忠尊重回民的风俗习惯，为他们另设炉灶，由他们自行管理。回民士兵的训练也集中起来，由回族官员负责，单独进行。张自忠要求所有汉族官兵，尊重回族官兵的信仰和习惯。这些举措，不仅使全师团结，而且得到地方的支持和当地回民的拥护。
反蒋联军57人通电要蒋介石下野后，阎、冯、李就任陆海空军总、副司令，通电讨蒋，任命鹿钟麟为前敌总司令，刘骥为参谋长，随后各地反蒋军及国民党改组派、西山会议派等纷纷响应，形成全国反蒋大联合。一场中国近代史上规模空前的军阀大混战——蒋冯阎中原大战终于开始了。双方在东起山东，西至襄樊，南迄长沙的数千里战线上展开厮杀。
当时任东北边防长官的张学良，拥兵30余万，在时局上举足轻重。阎锡山约他倒蒋，但张学良认为阎锡山动摇不定，是在玩弄自己，对阎不满，因而这次不就任副总司令职，表示保持中立，不参与反蒋。
倒蒋联军，除冯、阎、李直系部队外，还有樊钟秀、万选才、孙殿英、石友三、刘茂恩、刘春荣等。
以李宗仁为第一方面军总司令，冯玉祥为第二方面军总司令，阎自兼第三方面军总司令，石友三为第四方面军总司令，并兼山东省主席，内定张学良为副总司令兼第五方面军总司令，刘文辉为第六方面军总司令，何键为第七方面军总司令，加派孙殿英为第八方面军总司令兼安徽省主席，万选才为河南省主席。
从力量上看，反蒋联军占有绝对优势，但却各怀贰心，不能统一，所以就注定要失败。
大战前夕，张自忠率第六师由陇南天水开赴河南灵宝待命。在此期间，他派遣第十六旅剿灭了灵宝、南山一带土匪。不久，张自忠接到冯玉祥电令，第六师除第十七旅配属梁冠英部作战外，主力暂时编入张维玺的第一路军（南路军），南路军兵力达15万人。5月初，南路军在平汉线向蒋军开战。
张自忠率第六师开赴许昌十五里店、任庄一带，同徐源泉部交战，经一夜激战，从徐源泉部手中夺回十五里店这一战略要点。
6 月中旬，张自忠部奉命与蒋军丁治磬部争夺土围子，战斗相当激烈，两退两进，攻占了土围子。第十六旅副旅长兼第一团团长张宗衡、手枪团团长刘振三负伤。丁部接连发动几次反攻，均被击退。丁部伤亡惨重，但仍不退，双方相持。孙连仲率部来援，张、孙联合反攻，敌全线溃退至漯河一带。
张维玺及南路军将领多路乘胜追击，直取信阳，将蒋军逐到武胜关以南。但冯玉祥认为蒋军主力不在豫南而在豫东，故尔我军战线不能拉得太长，兵力不宜分散，不同意南下追击。
7月中旬，冯玉祥下令将孙连仲、张自忠、葛运隆、魏凤楼几支精锐部队由平汉线抽调转陇海线支援东路军（宋哲元、孙连仲部）作战，企图予蒋军以歼灭性打击。
西北军剽悍骁勇，十分善战，连战连捷，使蒋军十分恐惧，士气低落。蒋介石十分焦急。为扭转战局，他决定在陇海线发动攻势，命其精锐主力刘峙、蒋鼎文、陈诚、张治中等部配备大量炮兵，由杞县、太康攻击开封。
冯玉祥侦知敌情，将计就计，令孙良诚、庞炳勋、吉鸿昌等部从正面堵击，孙连仲、张自忠部向高贤集蒋军左翼兜去，右翼则由陇海路正面的晋军加以侧击，孙殿英部在鹿邑、柘城方面扰乱蒋军后方，形成口袋形包围圈。但蒋介石也知悉了冯玉祥的计划，忙改变部署，抽调上官云相由平汉线前来应援，并令平汉线方面积极反攻，以分散冯的兵力。蒋为鼓舞士气，亲赴柳河车站督战。
这时张自忠率第六师按计划向蒋军左侧攻击，在杞县、太康之间的高贤集首先与蒋军精锐张治中的教导第二师遭遇了。
两个同姓而名又音相近的近代史上的风云人物，在近代历史舞台相逢，兵戎相见，这在历史上是极为罕见的。
这位张治中，字文白，是安徽巢县人，出生于1890年（比张自忠大一岁），保定军官学校毕业后，服役于蒋介石麾下，曾任国民革命军总司令部副官处处长，黄埔军校武汉分校教育长兼学兵团团长。这时任蒋军教导第二师师长。教导第二师是蒋介石聘请的德国军事顾问团精心训练出来的两个“近卫军”之一，编制整齐，拥有当时中国军队最精良的装备，可以称得上是蒋介石的王牌军队。
第六师对这样一支装备精良、训练有素的军队，却毫不畏惧，在张自忠的指挥下，向教导第二师发起了猛烈的攻击，奋勇杀敌，用大刀和敌人展开近战，充分发挥了大刀、刺刀的作用，使敌人的炮火和优良装备不能发挥作用。教导第二师在第六师的强力冲击下，在西北军这种悍如猛狮的气势下，反复拼杀，被吓得斗志全无，三战皆北，伤亡惨重。教导第二师这张蒋军王牌，终于抵挡不住，败溃下去。
教导第二师被第六师击败，经此一战，元气大伤。
张自忠打败了张治中，这是他们的第一次交往，也是战场上惟一的一次交锋。后来两人都成为名将，当然这是后话。
当第六师进军至柘城、太康两县边界的王集、柳河集、冯庄砦，又与沿平汉线来援的王金钰、徐源泉部遭遇，双方往来攻守，形成对峙。王金钰师是由几个师缩编而成，不仅兵力、装备充足，而且以团长为营长，营长为连长，连长为排长，战斗力很强。
张自忠作战勇猛果敢，指挥若定，在这次战役中屡战屡捷，连克强敌。但是这局部战场上的胜利，却不能决定整个战局。
这次中原大战，反蒋力量从实力而言，应该是强大的，是大大超过了蒋介石的力量。但问题却在于这些力量始终不能完全团结在一起，形成一股无坚不摧的合力。大家都各怀贰心，打着自己的小九九。除冯玉祥的西北军反蒋坚决外，其他却完全不然。
李宗仁从广西出兵，在湖南受到何键、蒋光鼐的反击（何键开始反蒋，继则投蒋，反过来攻击反蒋联军），便撤回广西。桂系在实际上并没有参与中原大战。
阎锡山本来就是一个见风使舵的奸猾之徒，这次被推为反蒋联军的总司令。按其军事实力，晋军虽然有逊于西北军，但却算是反蒋的第二主力，如果与西北军团结一致反蒋，成败尚未可定论，但阎锡山本人的摇摆不定，使他的晋军在津浦线方面节节败退，曲阜、泰安、济南相继失守。阎见战局不利，便开始图谋自保，不再积极协同作战，甚至断绝了对冯玉祥的粮饷弹药供给，使西北军陷于孤军苦战。
9月18日，雄踞关外、拥兵30余万、宣布中立而静观虎斗的张学良，宣布放弃中立立场，通电拥蒋，挥师入关，占领华北。战局急转直下。
面对南北受敌、弹尽粮绝的危局，性格坚韧的冯玉祥，仍打算背水一搏，无奈诸将领已纷纷动摇，使他只能浩然兴叹，徒呼奈何了。
吉鸿昌、梁冠英、焦文典、万运隆等相继投蒋，接受改编；石友三通电独立；庞炳勋、孙殿英、刘春芳等脱离冯部，自由行动；包括张维玺、冯治安、魏凤楼、任应歧、田多凯等部在内的南路军，在新郑陷于重围，被迫缴械投降；孙连仲也自谋出路，通过韩复榘的关系接受了蒋介石的改编。
冯玉祥眼看众叛亲离，山穷水尽，被迫于10月5日率总部渡黄河北上。至此规模空前的中原大战以反蒋联军的失败而告终。
蒋冯阎中原大战，实际上是一场新军阀的混战，这是一次非正义的战争，对于当时饱经战乱之苦的广大中国民众来说，是又一次灾难而已。所以任何一方，都不可能得到人民群众的支持。
冯玉祥平常以“民本”思想教育西北军，但他在这次战争中，也忘却了这一点，卷入了这场非正义之战，最终失败，也使辉煌一时的西北军没落瓦解，成为历史。
中原大战，蒋介石获得了胜利，也巩固了他的中央集权和个人独裁。
中原大战结束时，张自忠的第六师除暂拨梁冠英指挥的第十七旅随梁投蒋外，尚有第十六旅、第十七旅的一部和手枪团的大部约5000余人，是西北军残部中最完整的部队之一。
西北军40万大军在这场战争中灰飞烟灭。1930年11月4日，冯玉祥通电下野。所部将领也纷纷离他而去。“五虎上将”中的李鸣钟、张之江早在中原大战前就已脱离冯，接受了蒋介石的命令；刘郁芬于战后投蒋，赴南京就任上将总参议；鹿钟麟与冯共进退，声明下野，算是留在军中。
西北军土崩瓦解，使张自忠同其他将领一样，面临着前途的抉择问题。他听说冯玉祥北渡，就令自己的部队由郑州渡河北上。这时蒋介石派人给张自忠空投委任状，任命他为第二十三路军总指挥。
张自忠得到蒋介石的委任状后，立即就地召开全师军官会议，讨论去从。张自忠对大家道：“现在我们西北军在这场战争中，由于多方面的原因而遭致失败。总司令传闻已渡河北上。我们第六师也面临着一个前途的抉择问题。是渡江北上，争取与总司令会合以图重整旗鼓，或是另谋出路。现在蒋介石派人空投来委任状，要委我张自忠为第二十三路军总指挥。”
张自忠向大家扬了扬手中的那张委任状，接着说道：“所以我召集大家前来，听听你们的意见，我们第六师该何去何从。继续北上与总司令会合？投奔蒋介石？自己另谋出路？不管哪方面的意见和想法，大家都可以说。在决定之前可以各抒己见，在决定后大家都必须坚决服从。现在就请大家畅所欲言吧。”
一个营长开口说道：“我说一点个人意见，对与不对，请大家考虑。当然最后咋办，还得师长决定。我以为我们反蒋联军已是彻底失败了。就拿我们西北军来说，40多万人，现在是散的散，降的降。那些跟随总司令那么多年的人如李鸣钟、张之江、还有刘郁芬，都先后投靠蒋介石去了，更不要说石友三、韩复榘了。我们现在只剩下几千人，地盘也没有一块，怎么生存。现在蒋介石要委任师长为第二十三路军总指挥，我觉得这倒是一条出路，因为这次胜利，蒋介石看来已是坐稳了江山。古人说得好，识时务者为俊杰。退一步讲，我们投靠蒋介石，先站稳脚跟，以后再作另图又何尝不可以。”
这位营长的话，说得头头是道。当下就有几个人表示赞成，认为张自忠应该接受蒋介石的委任。
张克侠道：“我不赞成投蒋，因为蒋介石的阴险、狡诈，比起阎老西都还有过之。开初他投靠孙中山，满口赞成孙中山的联俄联共扶助工农，并且还跑了一趟苏联，取得孙中山的信任，当上了黄浦军校校长，利用孙中山的威望，当上北伐军总司令。一旦军权在握，孙中山的尸骨未寒，他就背离了方向，大肆屠杀帮助过他的共产党和工农大众。此后你们看，他一直在玩弄手腕，今天拉这个打那个，明天拉那个打这个，一直都在不断地消灭异己。别看他今天委任师长担任第二十三路军总指挥，那是因为他认为反蒋联军虽然失败了，可还有很大的潜力，只有分化瓦解，才能最后彻底消灭反对他的隐患。他不是和我们总司令拜过把、换过帖么，那时信誓旦旦，要共荣华、共患难么。言犹在耳，便要削弱并最后吞并西北军，这就是最后引起这场战争的原因。总之一句话，蒋介石信不过我们，我们不能相信他。如果投降于他，我们这支队伍，也不过是多苟延残喘几天而已。你在他的掌握下，到时他要怎么收拾你便怎么收拾你。倒不如起而奋争，也许还有置之死地而后生，有求活的希望。”
张宗衡道：“我也主张我们不能投蒋。我们跟随总司令这么多年，不能在他最困难的时候弃他而去。”
双方各执一词，争论得很热烈。
张自忠最后见大家说得差不多了，就郑重地说道：“大家都谈了自己的想法和意见，归纳起来就是两条，降与不降。这事我听了大家的意见，自己也郑重考虑过，我的决定是我不能接受蒋介石给我的委任。有人会问：为什么？我们做军人的，最要紧的是忠诚。现在西北军失败了，很多人背叛了总司令，这是事实。但我张自忠不能这样做。这是个气节问题。再说蒋介石虽然给我封了官，可我们毕竟是败军，投到人家那里难保不受人家宰割。你们怕不怕受罪？要是怕受罪，我带不走了，则在这里有钱有官，大家以后不会再跟我受苦；要是不怕跟着我受罪，咱们就渡河北撤。大家同不同意？”
他这么一说，那些主张投蒋的人也说道：“既然师长这么决定了，我们当然听师长的，跟着师长走。师长能吃的苦，咱们也能吃。”
张自忠仍然说道：“有不愿跟我张自忠北撤吃苦的，不管他是哪一位，是官，是兵，现在要离开我们这支队伍，跟我说一声，我绝不会留难，还会帮补他盘缠；要到蒋介石那里去干事，我也不反对，今后我们见了面，还是朋友。如果不愿离开我张自忠，那咱们今后就要同甘苦、共患难，可不能离心离德。”
与会军官都喊出：“同心同德，共渡难关。”
张自忠道：“那好，部队先行过河。我暂留南岸，收容散兵。”
第二天，第六师主力由张克侠、张春棣、佟泽光等人率领渡黄河开赴山西。张自忠仍留在南岸收容失散官兵。
其实北上的西北军残部大多已渡过黄河，但后面的行李、家眷及很多大车未能过河。由于找不到船只，又无部队护送，家眷们既害怕又焦急，一筹莫展，在黄河边上乱成一锅粥。
张自忠见此情形，对大家说：“大家都安静下来，别着急，也不要慌，没有船只，我派人去找。我一定保证把大家安全渡过河去，让你们去找你们的亲人。有我张自忠在，你们就能渡过河。我会让大家先过去，我张自忠最后一个过河，绝不拉下一个人在南岸。”
他立即命令工兵营长朱春芳带领全营寻找船只，终于找到了20来只木船，把这一批家眷安全护送到黄河北岸的焦作。家眷们感激得涕泪皆下，向张自忠行礼、道谢不已。
官兵们、家眷们都已全部过了河。乱哄哄、闹喳喳的黄河滩突然一下变得清静冷寂了，只有黄河的流水在哗哗地流。岸边上还停靠着一只木船，张自忠也该过河了。他此时心潮起伏，感叹万千，千头万绪，不知从何梳理。几个月来，如同做了一场噩梦。为什么要打这场战争？这场战争该不该打？煊赫一时的反蒋联军，尤其是西北军败得如此之惨。这是他始料不及的。可又为什么会有如此结果。望着西下的夕阳，滔滔东去的黄河水，秋风瑟瑟，冷清的河岸，他的心中也感到一种孤寂，一种悲凉。
“师长，上船吧！我们也该走了。”
护兵的呼喊，才把他从悲怆的沉思中唤回到现实中来。
他默默地上了船，船离岸向北划去。明天的路该怎么走？！
伟大诗人屈原的诗，在他心中响起：“路漫漫其修远兮，吾将上下而求索。”