25日晨，汤恩伯、石觉、陈大庆等人带着电台、参谋机要人员，在警卫部队的护卫下，乘车来到吴淞镇，涌进了第五十二军指挥所，立即召集五十二军、第二十一军的军、师长开会，布置部队撤退事宜。当时汤恩伯还亲书“手令”一道，密封后由第五十二军派一参谋送给第三十七军军长罗泽闿。
据刘玉章说，汤恩伯给罗泽闿的“手令”内容，是命令第三十七军坚守到26日午后，方可撤到虹江码头上船。第五十二军的这名参谋在武装护送下，于25日中午，方在杨树浦大连路上一所学校里找到罗泽闿，当面递交了汤恩伯的“手令”。这位参谋叫颜鲁笙，河南项城人，军校第18期毕业的，当时在第五十二军军部第二科任上尉参谋，已随军逃往台湾。
这天早晨，汤恩伯在吴淞镇第五十二军指挥所，当着刘玉章、李运成、侯程达、郭永、李有洪、刘梓皋、王克俊、李荣前、李志熙等人的面，宣布了蒋介石的决心：为了保存实力，将上海守军向舟山和台湾转移。汤恩伯要求第二十一军和第五十二军（统归刘玉章指挥）坚守现阵地，掩护市区及浦东地区各部队的撤退。并要刘玉章经常主动派部队向解放军进攻，借以迷惑敌人；倘若遭到解放军的进攻，刘须尽力将其击退。汤恩伯还规定第五十二军、第二十一军的后方部队应于26日上午开始上船，其第一线部队的撤退，必须另候命令，不得擅自行动。当时分配给第五十二军的有4艘货轮，分配给第二十一军的有3艘商船（客轮），其中分给第一九六师的是一条排水量为5000多吨的货轮“大公号”。汤恩伯布置完毕，即登上了太湖号兵舰，在吴淞口继续指挥。
刘玉章等到汤恩伯走后，立即命令李运成率领各师的副师长，带着军部和各师的警卫营、工兵营前往吴淞海军码头，接收、分配载运部队撤退的船舶，并派部队看守；同时命令各部队立即将伤病官员、行李辎重（实际上多数是军师长们的私人财产，例如大箱大箱的银元）和非战斗官兵送上船去。还在码头区设置警戒，管制交通，防止解放军地下人员混入，进行破坏（因为第五十二军1948年冬从营口撤退时，曾发生轮船锅炉爆炸，造成千余人葬身海底的惨事）。
与此同时，刘玉章命令刘梓皋指挥第七十四团向盛桥、浏河附近搜索扫荡，另派第二十一军的第一四五师向罗店、嘉定方面搜索扫荡。
25日傍晚（夜幕降临后）第五十二军军部及直属部队及第二十五师、第二十一军及第一四六师都偷偷地开始向吴淞海军码头集中，抢先上船。据在现场指挥的刘明奎（第五十二军第二十五师少将副师长）到台湾后对我说：“我曾在美国电影里看见英国人于1940年5月27日，由法国北部港口敦刻尔克仓皇撤退的狼狈情景。但是，5月25日到26日深夜，在吴淞海军码头，我看见撤退的官兵们争先恐后地抢着、打着、挤着上船的惨状，却大大地超过了敦刻尔克撤退时的混乱和悲惨的情景。”刘明奎还十分愤慨地痛斥一些国民党“要人”，丧尽天良，不顾重伤官兵的小命和安全，把他们抛弃在码头上，任人践踏；却派武装士兵把自己的亲友和私人财物，强行装船逃台。当时，上海秩序极其混乱，指挥完全失灵，码头上人山人海，拥挤得水泄不通；人们或者从别人的头上向船上爬去，或用力（有的用枪撞开人墙），硬向船上冲，冲上船后，再从船上放下软梯、吊绳等，供等在岸上的人攀绳而上，其中有些人因互相争夺拥挤以致中途绳断，坠入江中，葬身鱼腹；有的人好不容易挤到了栈桥上或趸船上却被挤下江去；有的人则被挤倒在地被人群践踏致死。还有一些在岸上不能上船的人竟跳下江去，游到船的另外一侧（靠码头的另一侧）再向船上抛绳，然后顺着绳子向船上爬去。有一些上不了船的官兵，竟在码头上向船上射击，以发泄他们的愤怒，企图要船上的人和他们一起同归于尽，结果迫使船上的人只好开枪还击，妄图压制，以致船上和岸上变成了“敌人”，互相射击，自相残杀，造成流血，迫使有的船不得不提前启锚开航；因而使那些攀在船舷边想向船上爬的人，和挤到了栈桥上正向船上冲的人，都纷纷落水丧命；也使得等在岸上无法上船的官兵，更加气愤，不但用机枪向船上扫射，还用60炮向船上打。这种情景的确是史无前例的。
据我所知，汤恩伯曾于5月28日下午，在定海港内他所乘坐的太湖号兵舰上，召集各军师长开会（他派出几艘海军的汽艇和登陆艇，分别开到各条船旁，去接运各军师长到太湖号上开会。因各部队所乘的船舶在28日中午，已基本上全部到达定海港集中）。会上检查了各部队现有人员和装备的情况，并规定各部队应自行派船将分乘在其他船上的官兵，接回各该部的轮船上，归还建制。汤恩伯在会上宣布蒋介石的命令如下：
1由丁治磐指挥暂一军、第一二三军及原一绥区所辖的江苏省保安司令部、省政府、保警部队等，驻守嵊泗和岱山岛地区；
2由周碞指挥第七十五军及第四十五军的第一○二师，驻守舟山岛及其周围岛屿；
3上述丁、周两部统归石觉指挥之，并须设法收容由大陆逃出的官兵；
4吴淞要塞所属部队即开厦门，与厦门要塞合并；
5各特种兵部队，如：装甲兵、炮兵、工兵、通信兵、铁道兵、技术总队、汽车部队（少量）均开赴基隆登陆，听台湾警备总司令陈诚安排；
6第十二军、第二十一军和第三十七军、第五十一军的残部及零星官兵，以及第五十二军、第五十四军、第九十九军等部队立即启航开赴台湾，向台湾警备总司令部报到，受其指挥区处，登陆港口均为基隆港；
7京沪杭警备总司令部暂改为国防部厦门指挥所，由汤恩伯任主任，立即开赴厦门，指挥并整顿已经到达龙岩、漳州、泉州地区的部队；
8派陈大庆和毛森分赴浙江、福建沿海岛屿考察，并就地组织地方的反共武装，收容整顿由大陆逃到岛上的部队，向国防部提出报告；
9其他由上海撤到舟山的机关和零星人员（包括最后抢运出来的物资和设备）一律随船开赴基隆登陆，由京沪杭警备总部派得力人员统率，造具名册，分别向台湾警备总司令部和台湾省政府移交，由台湾警备总部和省政府接收安置。
汤恩伯同时要求各部队，利用定海港停泊补充给养的机会，抓紧收容整顿。
第五十二军第二九六师和第二十一军的第一四五师，都是在5月26日深夜才开始撤出第一线阵地（狮子林、月浦、浏行、杨行一带）的掩护部队，尤其是第二九六师更是“殿后的殿后”部队，直到5月27日晨1时许，汤恩伯方发来电报，命令第二九六师弃置留在码头上没有上船的官兵（各个部队都有，人数成千上万，根本无法估计），立即放锚开航，驶赴定海集中。第二九六师所乘的“大公号”轮船（载重5000吨）离开吴淞海军码头时，它已是最后的一艘船了。当时，在黄浦江内已没有其他的轮船，只有一些木船和舢板在拼命地向“大公号”轮船划来，由于“大公号”轮船已开足了马力向海里疾驶，那些呼救和追赶来的木船与舢板，始终无法赶上，渐渐地落后很远了。我站在甲板上瞭望，看到从张华滨到虹江码头一带，熊熊的大火正在燃烧，吴淞镇、宝山县、高桥镇、杨树浦等地也是爆炸声时起，火光冲天。我心中不禁黯然神伤，倍觉凄楚，心想上海已处在燃烧之中，总算迎来了光明；而我们却正在驶向波涛汹涌的大海，前面一片漆黑，前途渺渺茫茫，正是命运难卜，归宿无处，黎明不至，黑夜难了啊。
5月29日，汤恩伯命令第二九六师仍乘“大公号”轮船，首先从定海启锚，向基隆进发。6月1日晨5时，第二九六师所乘的“大公号”轮船，作为由上海撤退到台湾的先头部队的第一艘船，在汹涌的波涛和晨光熹微中，驶近基隆港外。
6月1日上午9时顷，第二九六师乘坐的“大公号”轮船，被引到西岸码头停靠。基隆要塞兼港口司令刘翼峰受陈诚之命，派他的参谋长驱车来到码头，迎接第二九六师。在岸上还有一大群持着鲜花和彩旗的欢迎队伍，内中有老有少，有男有女，有学生和职员，也有各界代表。挂在码头上的横幅上写着：“热烈欢迎奋战上海的国军将士”，还贴了许多欢迎标语。刘梓皋（第二九六师师长）、卢禹鼎（第二九六师副师长）、王楚英（第二九六师参谋长）、徐奚若（第八八六团团长）、李盛（第八八七团团长）、马荣相（第八八八团团长）等人和部分官兵，已列队站在舷梯两侧，迎接走上船来的基隆要塞参谋长黄幼勉、台湾警备总司令部副参谋长苏昭文和一些“基隆市各界代表”。送走了“基隆各界劳军代表”后，黄幼勉和苏昭文向刘梓皋及副师长各团长等传达了陈诚的指示：
1严格整饬军风纪，整肃军容，官兵不要任意上街，奉准外出者应服装整齐，佩戴标志，礼节周到，禁带武器，禁入娼寮；
2不准进入民房；
3不准强买，必须按规定给价；
4不准同民众发生纠纷；
5要尊重台湾民众的风俗习惯；
6要严格遵守公共秩序。
当时指定第二九六师下船后，就近在基隆火车站附近的几所学校里住宿，等待火车运往新竹等地集中。当我们从定海出发之前，汤恩伯曾一再叮嘱刘梓皋：“一定要把部队整顿好了才上岸，一定要给台湾民众带去好的印象，为上海地区的部队争点光彩。”汤恩伯说，派第二九六师作为先头部队，第一个在基隆登陆，就是为着这个目的。在汤恩伯看来，第二九六师人员装备是上海撤退出来的各师中最齐全的一个师，并且是在上海打得最好的一个师，是蒋介石明令嘉奖过的部队，还是陈诚在东北时就很熟悉的部队，因之汤恩伯就选定了第二九六师做先头部队，第一批在基隆上岸。
我现在还记得由上海撤退到台湾的部队一般情况。
等待撤离的人们
撤到台湾的部队番号是：第十二军、第二十一军、第三十七军（该军部队建制已乱，分乘各船逃到台湾，经收容集中后，尚有零星官兵约4000多人，不过该军的军长罗泽闿、师长方懋锴、王大均、万宅仁等都已随船或绕道香港逃回台湾）、第五十二军、第五十四军、第九十九军、第八十七军和第二○八师等（特种兵部队都较完整，故未列）。
各军撤退到台湾的实际人数，多少不一，其中以第五十二军的第二九六师人数最多，达7000余人，第二师有5000多人，第二十五师只有3000余人，第五十二军军部及直属队约4000人，全军约两万多人。第五十四军全军约15000多人，其中以第八师人数较多，约达5000余人。第二十一军基本上保持着两个师的建制，尚有官兵约7000余人。第十二军由高桥撤退时损失较大，撤退到台湾后经过收容集中，仍只有4000多人。第九十九军及由杭州经宁波、定海撤到台湾的第八十七军大约8000~9000人，这两个军共约17000~18000人（后来这两个军合编为第八十七军）。先期由崇明岛撤到台湾的第二○八师约7000多人。
由上海撤退到台湾的部队，于6月下旬到7月间经过点验，核实人数（在点验中各部队都有互相借兵冒名顶替的事情），然后进行整编，当时的情况是：第二十一军、第十二军、第三十七军撤销番号，人员装备拨补其他部队，其中第二十一军保留军官，由军长王克俊率领回四川重建。九十九军番号撤销，与第八十七军合编，由邹鹏奇任第八十七军军长，辖第九十九、第二○四、第二○八3个师。此外，保留第五十二军，仍辖第二师、第二十五师、第二九六师，还保留第五十四军，仍辖第八师、第一九八师和第二九一师，这两个军都得到人员装备的补充。
由上海和杭州撤退到舟山群岛和嵊泗列岛的部队，有第七十五军、第一二三军、暂第一军、第一○二师和浙江、江苏两个省政府、省保安司令部等单位，共计约3万人。
撤退到舟山和台湾的部队中，没有第五十一军的番号。但在舟山和台湾都收容有原第五十一军的官兵（自行撤退上船，逃到舟山和台湾），共计约有3000余人。
汤恩伯从上海撤退出来的部队（除特种兵如：装甲兵、炮兵、工兵、铁道兵、通信兵、汽车兵、技术总队、要塞外），总计约达11万余人，后来在舟山编成为第七十五军和1个独立师（这个独立师的番号名为海上突击总队，辖6个支队，约1万人），在台湾编成了3个军，即第五十二军、第五十四军、第八十七军，每个军的总人数都在25万人左右，其中第五十二军人员最多，经过整补后达33万人（二九六师没有调出之时，曾由湖南招收4000余人，补充该军。另由第二十一军抽调了几千人充实该军），但是到了1949年9月，第五十二军的第二九六师却调往小金门，编入第五军建制。