一开始，海军根据周恩来总理的指示，责成东海舰队与交通部门协商，迅速组织调查沉船原因的海上编队，并指定由东海舰队常务副司令周仁杰、第二政委段德彰负责。当时周仁杰正在北京开会，海军周希汉副司令把他找去，将周总理的指示和海军的决定告诉了他，要他立即去总参谋部参加杨成武副总长召集的部署调查“跃进”号沉没原因的会议。
从杨副总长那里接受任务后，海军立即派专机把周仁杰送回上海。周回到舰队，立即向陶勇等人传达了上级指示，在吴淞码头设立了指挥所，要求准备出海的各分队于5月5日12时以前做好出航和战斗准备，待命行动。
1963年6月4日，陶勇（右）调查“跃进”号事件远航归来，海军政委苏振华前往迎接。5月上旬，上海依旧是暮春的清凉天气，上海锦江饭店小礼堂一派繁忙景象，各种人物进进出出，神色匆匆。
5月12日，周恩来总理来到上海，亲自检查海上调查的准备情况。他首先听取了上海和东海舰队负责同志关于出海编队的汇报。当汇报到编队领导干部时，上海市委第一书记柯庆施插话说：“这次东海舰队出海调查‘跃进’号是个很重要的任务，怎么舰队司令员、政治委员不亲自出海呢？”
周仁杰回答说：“出海编队指挥员是由海军指定的。”
周恩来点了点头：“呵，我知道了。”
陶勇说：“编队指挥问题我们回去再研究一下。”
周恩来接着问：“你们出海的船只准备好了吗？”
周仁杰回答：“根据总理的指示，我们已抽调了舰艇和船只，上海市抽调了潜水作业、打捞救生船3艘，即‘和平60’号、‘救捞1’号、‘救捞8’号。全编队舰船10艘，人员1097名。”周仁杰又把出海的准备工作做了详细汇报。
返回上海的打捞局长张智魁汇报了潜水作业的准备情况。
周恩来见无人再说什么，做了一个总的发言。他说：“你们这次出海查清‘跃进’号货轮沉没的原因，是个重要任务。查不清‘跃进’号沉没的原因，就不好对外发表公告，这件事关系到我们的国威军威。所以你们不能把这次到远海执行调查‘跃进’号的任务看简单了。这是海军成立以来，首次到远海执行的一项复杂任务。你们调查的海区，来往的各国船只、飞机很多，一定要防止发生涉外事件，同时还要准备国民党来袭击我们。”
舰队的领导都在忙着记录周恩来的话。周恩来拿起桌上的一份材料看了一下，继续说：“你们的准备工作主要是两个方面：一是搞好部队政策教育，要把中央对你们执行任务中规定的对外八条政策和公海公约、法规向部队讲清楚，使人人自觉遵守；二是要作好充分战斗准备，以防帝国主义和国民党反动派对他们挑衅。”那是国际局势十分紧张的时代，也是中国刚刚开始“反修批修”的时代。海峡对面的国民党部队，除了在东南沿海不断骚扰、派遣特务登陆之外，还同日本极右势力、南朝鲜统治集团沆瀣一气。美国、苏联“两霸”除了互相争夺之外，又同我国形成了复杂的敌对形势。黄海、东海之外的太平洋，几股力量交聚，时时涌起战云，激起惊涛。
周恩来又拿起桌上那份文件，指了指说：“我们考虑在你们起航时，新华社将发表调查‘跃进’号货轮的新闻公告，所以你们一定要准时到达海区。”他对东海舰队的领导特意说到要在调查中搞好练兵：“你们这次到远海执行任务是一次在公海上训练的好机会，能学到很多知识，既可熟悉公海的规章条例，又可了解你们所在海区的情况。”
周恩来向张智魁详细询问有关打捞的问题：“这次出海打捞，还有什么困难吗？”
“条件比较差，没有一条潜水母船。”张智魁回答。
总理挥挥手：“明天你到码头上去看，从吴淞口到黄浦江口挑船，看中哪一条，就拿来！”
张智魁又汇报了潜水技术问题，说：“我们过去潜水最高记录是42米，而济州岛一带水深是60米左右……”
总理急切地打断：“那我们的潜水员能否下得去？比方说，你能下到多少米？”
“我可以下到40米。我们优秀的潜水员可以下到60米深度，关键是如何排除潜水病。”
总理问：“什么叫潜水病？”
张智魁回答，“18米以下为深水。因为压力随着深度增加，高压气体进入潜水员体内后变成液体。这在下潜阶段即加压阶段不会有什么问题；问题是从深水返回水面的减压阶段，随着压力减小，人体内的液态气体很快变成气泡，它可以破坏血管，破坏大脑和心脏，或者残废，或者死亡。如果让压力缓缓地减低，那就不会出现问题，这就需要水面上有减压设备——减压舱。”
总理说，“我基本明白了。张局长，你需要怎样的减压设备？”
“要有25公斤的空气压缩机，有大的储气罐，压缩机可以买到，储气罐我们没有。”
“你知道哪里有？”
“华东电业局有两个，是为了保证发电机组启动用的。”
总理转向上海市的领导：“通知华东电业局，从两个储气罐中拿来一个，还要保证电站的工作和安全，制定出缜密的措施。”
“我们水下调查还需要密封的水下照相机，国内没有。”张智魁又提出一个问题。
总理回头叫过秘书：“通知香港，立即买两架送来。这次要以打捞‘跃进’号沉船为基础，建立一支强有力的打捞队伍，为走向海洋而努力。”
汇报结束后，东海舰队的领导回到水电路的机关大院。陶勇对周仁杰说：“关于编队指挥问题，我到锦江饭店去看望周总理时，柯庆施同志就对我说过：调查‘跃进’号问题，周总理都亲自出马到上海来抓，你们司令员、政委不出海好吗？我考虑了柯庆施同志的意见，想和刘政委一起，率编队出海，你和段政委负责第二梯队编队指挥。不知你的意见怎样？”
周仁杰本来就是直性子人，他已经在汇报会上听柯庆施说过这个意思，所以很快就同意了。编队指挥人员变更情况上报后，海军党委同意舰队常委的决定。这样，海上编队指挥员改为陶勇，政委改为刘浩天，并组成临时党委，其成员是陶勇、刘浩天、张学思（海军参谋长）、傅继泽（海军副参谋长）、李长如（舰队政治部主任）、陶琪（交通部海运局副局长）、韩克辛（上海海运局局长）、张智魁等8人组成。陶勇任书记，刘浩天任副书记。为了加强海上支援兵力，海军从东海、北海舰队共抽调了30艘舰艇、140架飞机，组成支援海上作战二梯队。第二梯队的指挥员为周仁杰，政委为段德彰。
大家还讨论了周总理关于做好打仗准备的意见。
谈起形势，陶勇司令员分析的意见是：大打不可能，中打有可能，小打很可能。要做小打的布置，中打的准备。他要求作战部门拟定实施细则。