彬文那地区的远征军主力，东西两翼都遭到了日军威胁，情况十分危险。4月16日，史迪威在给夫人的一封信中写道：“我想，我们很快就会在日军的进攻面前失败。……我们已经尽了最大的力量，如果我们被日本人赶进深山老林，那并不是因为我们没有努力。”18日，史迪威不得不放弃彬文那会战，命令第5军各部向漂贝、塔泽、敏铁拉一带撤退。
英国人像迷了路的孩子，一次又一次地要史迪威派部队救援在仁安羌一带被围困的英军。4月19日，孙立人率远征军新38师经过激战攻克仁安羌，打退了日军。这次战斗共救出英军7000多人及被俘英军、传教士和新闻记者500多人，并夺回了被日本人劫获的英军辎重100多车。英国人一时感激涕零，但没过几天就全都忘在了脑后。
史迪威把他的指挥部从漂贝撤到距曼德勒约30公里的皎克西，准备在曼德勒及其以南地区寻机与日军决战。但是，东路第6军的战况却进一步恶化，致使整个战局急转直下。向东侧迂回的日军第56师团于4月20日攻占乐可，尔后向和榜方向急进。日军的这一穿插行动，在第5军和第6军之间打进了一个楔子，这不仅威胁两军的翼侧，而且使远征军的后方要地腊戍门户洞开。
面对这一严重形势，史迪威急调第200师向葛鲁、黑河方向出击，并命令第6军第93师和第49师向南曲依、莱卡一线回防，以封闭第5、第6两军的结合部，阻断日军穿插。4月23日，他亲自赶到已推进至东枝外围的第200师前线督战指挥。他根据罗卓英的建议，悬赏5万缅甸卢比，以尽速拿下东枝。25日，第200师夺回东枝。但是，向西回防的第6军部队刚刚与日军接触便溃不成军，仓皇向景栋方向撤退。24日，军长甘丽初报告，他手中已无兵可以指挥。尽管第200师从东枝截断了日军第56师团的后路，但该部日军竟完全不顾后方情况，径直以每日机械化行军110公里以上的速度长途奔袭，闪电般地扑向腊戍。
4月25日，史迪威、罗卓英、杜聿明与亚历山大等英军指挥官在皎克西召开会议。会议认为盟军的前线部队已陷入危险境地，遂决定放弃曼德勒，撤往伊洛瓦底江以北。随后，史迪威和罗卓英对远征军部队的行动作了部署：第66新28师由曼德勒驰援腊戍，会同新29师阻击日军穿插部队；第6军东渡萨尔温江，向景栋方向集结；孤悬东枝的第200师，就近向第6军靠拢；远征军主力包括第5军新22师、第96师和第66军新38师，经曼德勒北渡伊洛瓦底江，退往英多、八莫、密支那方向，据守缅北三角地区，以确保印度——密支那——昆明的空中走廊。
4月27日，史迪威从皎克西撒到曼德勒以北约80公里的瑞波，在那里设立了他的指挥部。第二天，他又轻车简从返回曼德勒前线，指挥远征军部队后撤。现在，重新打通滇缅路已不可能，唯一的希望就是保住印度至昆明的空中走廊。如果丢失缅北，美国对华的空运物资就只有绕道飞越“世界屋脊”喜马拉雅山了，那将是一条十分危险和艰难的航线。
远在太平洋彼岸的罗斯福总统也很重视这个问题，他在4月28日致电蒋介石，明确表示：“一定能够找到把军火和飞机送到蒋介石委员长军队手中的途径……一个不可征服的中国，不仅会在东亚，而且会在全世界，为实现和平与繁荣发挥作用。”
但是，目前的形势却在一步步地恶化。4月29日，仓促在腊戍布防的新28师和新29师一部被击溃，日军占领了滇缅路上最后一座门户；同时，西线英军渡过伊洛瓦底江之后，已决定放弃缅甸，正沿着耶乌至加里瓦大道向印度境内撤退。中国远征军主力的两翼再度暴露在日军的威胁之下。
4月30日，远征军部队全部撤过伊洛瓦底江，沿曼德勒至密支那的窄轨铁路向北退却。当天晚上，随着一声巨响，横跨在伊洛瓦底江上的阿瓦大铁桥被拦腰炸成两截，断口处的两端沉重地跌入涛涛的江水之中。这虽然一时阻断了日军的追击，但同时也把远征军关在了崇山迭嶂、森林茂密的缅北三角地带。这时，日军的一支机械化部队正沿着另一条道路从腊戍向八莫和密支那奔袭，那里是缅北远征军退回国内的最后通道。
中英联军放弃曼德勒，撤过伊洛瓦底江之后，英国人已无心作战，他们甩下请来的中国军队，径自向印度境内西逃；杜聿明则率领第5军第96师、新22师和66军新38师，沿着铁路和公路匆忙向北退却。史迪威清楚地意识到：“分裂和崩溃的危险已经迫近。”
5月1日，杜聿明已经跑到了孜公，罗卓英那天早晨也悄悄离开他，乘火车追赶杜聿明去了，史迪威仍留在孜公以南40多公里的瑞波。他的身边除了几十名美国军人以外，只有16名中国卫兵。许多美国军官对英国人的背信弃义和中国军队的作战不力气愤已极，他们不知道继续留在缅甸还能做些什么。
在第5军担任战术顾问和联络官的赛伯特准将对史迪威说：“乔，英国人跑了，罗卓英和杜聿明也走了，我们要飞机回国吧！”赛伯特的这一建议，并不能理解为怯懦。当战局处于无法挽回的危险情况下，首先应考虑保存高级指挥官，这在世界各国的战争史上已成为一种惯例。当新加坡即将陷落时，韦威尔从那里撤到了爪哇；当爪哇再次出现危机时，他又飞到了印度；当菲律宾败局已定时，麦克阿瑟从那里飞到了澳大利亚。战争需要军队，但更需要统帅。一个士兵或下级军官从火线脱逃，那是可耻的；一个统帅或高级指挥官从危机情况下摆脱出来，却是允许的。战争就是如此。
史迪威现在并不想这样做，他觉得有责任挽救中国远征军的失败。他对赛伯特说：“尽管我对中国军队的指挥权是徒有虚名，但我还必须对他们负责。如果我现在就走，他们可能会遭受更加惨重的损失，说不定会出现又一次投降。那样，我就再也不能回来指挥中国军队了。”
那天上午，有27架日军轰炸机飞到瑞波上空，人们四处隐蔽，以躲过空袭。日本飞机投下了几颗炸弹飞走了。当躲避空袭的人们回来时惊异地发现，史迪威仍坐在屋里的桌旁，独自一人饶有兴味地玩着纸牌。他的镇定与沉着，影响和感染了有些慌乱的美国军官们。
时间在一分一秒地过去，史迪威仍在那里端坐着。日军的先头部队已经渡过伊洛瓦底江，正在追击前进。瑞波已经可以听到隆隆的炮声。参谋人员不由得为史迪威捏着一把汗，日本人惯于穿插奔袭，他们那短短的罗圈腿，跑起路来却像飞一样快。
近中午时分，一架美国飞机在瑞波上空盘旋了几圈后，降落在临时充作机场的一片空地上。机舱门打开，走下了两名美国空军上校。他们是美军空运司令部司令官凯莱布·海恩斯和执行官罗伯特·斯科特。这个司令部设在印度的阿萨姆邦，负责从印度经缅甸到中国昆明的空中运输，10天前才刚刚开始工作。在昆明他们接到美国空军司令哈普·阿诺德将军的命令，要他们立即飞往瑞波，把史迪威和他的参谋人员接出来。
两位空军上校对史迪威说：“先生，阿诺德将军派我们来搭救你出去。”“搭救”这个词刺痛了史迪威，他用布满血丝的眼睛瞪了他们一下，严厉的目光表示了他的不满和拒绝。海恩斯焦虑地告诉他，他们在空中盘旋时发现，日军距瑞波只有20多公里了，情况非常危险。史迪威不想对两位空军人员作更多的解释，他决定让司令部的大多数军官乘飞机前往印度，并要他们转告已在印度的罗伯茨上校，与英方商量安排一个训练中国军队的基地，并做好接应的准备。
道格拉斯C－47型美军运输机向西飞去，史迪威带领留下来的十几名美国军官和其他随行人员离开瑞波，开始北撤。
从曼德勒到密支那只有一条单线的窄轨铁路，车厢很小，运输能力十分有限。罗卓英率领他的长官部人员昨天晚上乘火车出发，走出不到30公里就与另一列火车相撞，造成了铁路运输的中断。中国军队沿着尘土飞扬的公路，或乘车，或步行，仓皇向北撤退。大批逃难的英国人、印度人和缅甸人，夹杂在溃退的军队中间，显得一片混乱。
史迪威在北撤的路上经过耶乌，他去了设在那里的英军司令部。司令部已人去屋空，只有几名下级军官在那里手忙脚乱地清理物品、焚烧文件。史迪威找到一名军衔最高的上尉，向他询问英军的去向。“我想，我们的人都已经走了。”那个上尉失神的眼里显露出内心的惊慌失措。史迪威用电台叫通了亚历山大，向他通报说，中国军队正在向密支那撤退，但根据目前形势的发展，很可能将不得不退到印度。亚历山大回电说，同意为接应中国军队撤往印度进行准备。史迪威为远征军安排了一条在万不得已情况下的最后退路。
但是，他知道要说服中国人接受这一安排并不是一件容易的事。几天以前，他曾和英国佬商量过这件事。亚历山大和史密斯总督虽然表示可以接受中国军队入印，却坚持要按照所谓“国际惯例”，以“难民”的身份接待中国人，在这个问题上，他们做的实在太绝、大损。中国人最讲“面子”，恐怕很难接受英国人的苛刻条件。
史迪威离开耶乌继续北行，当天晚上赶到了孜公。
第二天一早，杜聿明来见他，一会儿罗卓英也赶到了这里。他们一起研究了目前的形势和远征军的下一步行动。
要远征军的主力撤到密支那，是蒋介石亲自来电做出的部署。他的意图是让远征军固守缅北三角地带，确保印度至昆明的空中走廊和由英帕尔经密支那到云南腾冲的中印公路。如果万一缅北不守，便由密支那撤回国内，那里有一条公路通往云南的腾冲。
但是，情况正在发生变化，在中国远征军的撤退路线以东，占领腊戍的日军第56师团主力正沿着一条平行的路线，向八莫和密支那疾进。那里已经没有任何阻击部队，日本人如入无人之境。如果日军赶在远征军之前占领密支那，那么缅北就会变成一个可怕的死胡同。北面是号称“世界屋脊”的喜马拉雅山脉和横断山脉，西面是人迹罕至的野人山，东面则是高黎贡山，那里是一块插翅难飞的绝地。
史迪威并没有想立即改变占领密支那的决心，但他宁愿作最坏的打算。他谈了在万不得已时将远征军撤往印度的想法和与英方交涉的情况。罗卓英表示赞同，他要求向密支那派一架飞机，及时查明那里的情况。但杜聿明却严辞拒绝，他慷慨激昂地说：“我们必须执行委员长的命令，把部队带回国内。我相信日本人挡不住我的路，如果万一不行，我宁肯弃车上山打游击，绝不去印度当他妈的什么难民。”说完，他戴上军帽拂袖而去。
杜聿明并非不知道缅北形势的险恶。一年以前中国政府应英国之邀派出了一个由14人组成的军事考察团，对缅甸、印度、马来亚进行了三个月的考察。承蒙“老校长”的厚爱，杜聿明成为这个考察团的重要成员。除了参谋团的林蔚、侯腾以外，远征军里就他一人参加了这次考察。但是，他追随蒋介石多年，深深地了解委员长的用人之道：他可以容忍败军之将，但绝不能容忍部下对他有丝毫的不忠。杜聿明要不顾一切地表现出他对委员长的绝对忠诚。
杜聿明走了，把他的罗长官晾在了那里。罗卓英对史迪威尴尬地挤出一点生硬的笑意，以掩饰他的无可奈何。史迪威看得出来：“他内心对自己感到羞愧。”
下午，史迪威再次出发。他来到路边，看着正在后撤的部队，一辆辆军车挤满了士兵，爬不上汽车的人在公路两侧散乱地走着。一支英国部队从孜公向西拐，朝着加里瓦前进。在烈日之下，史迪威的脸上布满了汗水，公路上扬起的尘土和汗水搅在一起，使那些表明他年龄的褶皱更加清晰可见。
一位名叫海萍的中国随军记者看到了这一场面，他被深深地感动了，以致久久不能忘怀。回国之后，他在当年8月10日的《云南日报》上发表了一篇战场随笔，文中写道：“5月2日，正当我们同英国友军在路边道别的时候，史迪威将军刚好带了他的小队随员从这里经过。我们原本听说，他早已飞回重庆，又说他到了印度，孰料他却在尾随我们大军一道进退。以他那样高龄，还是那样风尘仆仆地在战场上转进，真让人不胜敬佩……”
史迪威清点了一下他的队伍，现在还有18名美国军官，6名美国士兵，16名中国警卫战士，这是他仅有的作战人员，他们必须随时做好与日军穿插部队遭遇的战斗准备。此外，还有志愿参加战地服务的西格雷夫医生和他的19名缅甸护士，以及一直为美军人员服务的新闻记者、厨师、勤杂工和一些英国难民，一共99人。
5月20日，史迪威和他率领的队伍，经过16天的艰难跋涉，终于到达了印度的英帕尔。事后人们才知道，在当时所有撤出缅甸的部队中，只有这支经沿途收容增至114人的队伍，无论是军人还是贫民，没有发生一个减员。人们曾怨恨史迪威的严厉和粗暴，然而，正是这位严厉而粗暴的老将军，带领他们平安地闯出了绝地。史迪威为此感到兴奋和自豪，他在写给夫人的信中说：“能把我的那帮人带出丛林，我简直高兴极了。”