然而在湘南起义后不久，国内的政治局势有了变化。1928年3月，宁汉战争结束，唐生智余部通电接受南京政府的收编，使他们有可能腾出手来，以更多力量来对付湘南的农民运动。为了扑灭共产党的武装起义，湘粤军阀根据南京国民党政府的命令纠集了七个师，从湖南衡阳和广东乐昌两个方向南北夹击，进逼湘南。湘南地区的地主武装也相当强大。在双方力量十分悬殊的情况下，起义军处于腹背受敌的不利境地。湘南的地形条件，也不利于起义军的活动。
更为严重的是：这时在湘南苏维埃区域内，出现了‘左’倾盲动主义的错误。这种错误主要来自湘南特委。湘南特委书记陈佑魁认为：“中国文化落后的农民，要他们出来革命，只有一个赤色恐怖去刺激他们，使他与豪绅资产阶级无妥协余地”，要求到处进行烧杀，严重脱离了农民群众。特派员何舍鹅提出：‘烧烧烧，杀杀杀，干干干，”。“结果遭到群众的反对，土豪劣绅又煽动说：‘鸟都有个窝。我们房子烧了，家都没啦，那共产党有什么好处？’”但是朱德率领的工农革命军并没有这样做。参加过湘南起义的黄克诚说得很明确：“我知道他没有烧房子，坪石没有烧，宜章也没有烧嘛。”李奇中说：“当时朱德同志也到各县去看了看，并纠正了杀人，放火的错误。”“朱德同志说房子不要烧，房子留下我们还可以住”。朱德自己谈到当时“到处乱杀乱打”的盲动主义时，也说：“还好，那时军队里就没有执行过这盲动主义”。但在地方上很多是那样做了，使党和群众的关系受到很大损害。朱德后来说：在这种严峻的情况下，“如果政策路线对头，是可能继续扩大胜利，有条件在某些地方稳得住脚的。但是由于当时‘左，倾盲动路线的错误，脱离了群众，孤立了自己，使革命力量在暴动之后不久，不得不退出湘南。”为了保存工农革命军，避免在不利的条件下同敌人决战，朱德当机立断，作出退出湘南、上井冈山的重要决策。
朱德在上井冈山之前，同******率领的秋收起义部队早就有了多次联系。1927年10月底，南昌起义军失利后到达信丰时，地方党组织赣南特委派人来接头，就第一次说到毛委员率领秋收起义部队开始上井冈山的消息。朱德、陈毅听到这个消息，非常高兴。后来在江西转战时，朱德派原在第二十五师政治部工作的毛泽覃（******的弟弟）到井冈山同******取得联系。毛泽覃接受任务后，化名覃泽，由资兴到茶陵，见到了******，详细介绍了朱德所部及其行动情况，并转达了朱德的问候。1927年11月上旬，南昌起义军在江西崇义上堡，又同来自井冈山的张子清、伍中豪带领的工农革命军第一师第一团第三营会合。
杨至诚回忆说：“知道******同志率领秋收起义的部队在井冈山建立了革命根据地。这更增加了我们的勇气和信心。部队中湖南人很多，大家都知道******同志是大革命时期农民运动的领袖，他写的《湖南农民运动考察报告》很多同志都读过，影响很大。于是，‘到井冈山去找******同志’便成了我们每个人的希望。”当时，朱德详细询问了井冈山的情况。1927年12月，何长工从井冈山下山，同湖南省委，湘南特委联系，寻找南昌起义余部。在广东韶关的犁铺头找到朱德后，朱德详细了解了井冈山区的地形、群众、物产等情况后，十分满意，怀着羡慕和赞赏之情说：“我们跑来跑去就是要找一个落脚的地方。我们已经派毛泽覃同志去找毛润之了，如果不发生意外，估计已经到了”。这对朱德以后决定率领部队上井冈山，实现两军会师，无疑产生了重要影响。
但是，湘南特委仍强调湘南起义军“守土有责”，借口“共产党员应该不避艰险”，要求以湘南的全部武装力量同敌人硬拼，这些盲动主义的主张，遭到朱德的坚决反对。
这时，******领导的秋收起义部队已按湘南特委的要求，进入湘南地区。
特委将******为书记的前敌委员会撤销，另成立师委，以何挺颖为书记，******改任师长。3月上旬，******决定兵分两路去迎接朱德、陈毅部上山：一路由他和何挺颖、张子清率领工农革命军第一师第一团一千余人，从江西宁冈的砻市出发，楔入湘南的桂东、汝城之间；另一路由何长工、袁文才、王佐率领第二团从井冈山大井出发，向资兴、郴州方向前进。******还派毛泽罩带着一个特务连赶到郴州，同朱德、陈毅领导的部队取得联系。
3月29日，朱德率领部队完成了转移的准备，在耒阳骜山庙整装待发，并对部队进行了动员。部队出发时，附近的工农群众站在大道两旁送行。朱德每到一个地方，只要部队一休息，他总要找一些老百姓来问一问，谈一谈。不管老人、小孩，他都找来聊一聊。人多了，他就站在高处讲。从骜山庙来到附近的芭蕉坪，他对当地赤卫队员讲了话。他说：“不要看我们人少，但我们一定会胜利，这是因为革命的同情者是多数。地主、富农等剥削者总是少数。”在讲到怎样打仗时，他说：“我们不能光硬打，硬打要加巧打，要灵活，打了就走，不要贪多。”在毛泽覃带领的特务连接应下，朱德、王尔琢率领的工农革命军第一师的主力和来阳新成立的第四师、宋乔生领导的水口山工人武装，经安仁、茶陵到达酃县的沔渡。不久，唐天际带领的安仁农军也赶来会合。
正在郴州的陈毅接到朱德关于向井冈山转移的通知后，立刻组织湘南各县的党政机关向东撤退。4月2日，宜章的工农革命军第三师三千多人到达郴州，与郴州的工农革命军第七师四千多人会合。陈毅率领湘南特委机关、各县县委机关和部分工农革命军第一师的主力以及宜章的第三师、郴州的第七师共四千余人，经鲤鱼江木根桥，在4月8日到达资兴县城。在这里，意外地同从井冈山下来的由何长工、袁文才、王佐率领的工农革命军第二团会合。不久，黄克诚带着永兴的八百农军也赶到资兴的彭公庙。
******知道湘南起义军正向湘赣边界转移的消息后，4月6日离开桂东沙田，向汝城进发，以牵制敌军，掩护湘南起义军转移，随即攻占汝城。4月中旬，到达资兴县的龙溪洞，同萧克领导的宜章独立营五百多人会合。这是第一支同******亲自率领的部队会合的湘南起义军。
湘南特委机关随同陈毅带领的起义部队和农军撤出郴州后，新任特委书记杨福涛和湘南团委书记席克思坚决反对上井冈山。部队到资兴的彭公庙后，杨福涛就提出要同大部队分手，带着特委机关回衡阳去。为了说服他们放弃回衡阳的主张，在彭公庙召开了湘南特委和军队负责人的联席会议。会上，大家再三劝说，但没有能说服杨福涛。何长工回忆道：“他们这些工人出身的同志很不冷静，五县暴动把脑子搞得太热了。”“陈毅同志便对杨福涛说开了：‘杨福涛你头脑要冷静，你们男女老少，东南西北的口音，几十口子的人，靠几支短枪能闯过民团的关卡吗？’我不时从中插话：‘同志哟，现在赤白对立，剑拔弩张，各县都很警惕我们，怕共产党渗透，湘南敌人的指挥所在韶关，两方面的军队夹击郴州，想把我们一网打尽，你们现在要到衡阳，无疑是自投罗网。我的意见还是跟我们上井冈山为好。以后，再设法化装分批送你们走。’谁知杨福涛同志却火冒三丈，说：‘我是湘南特委，逃到井冈山是可耻行为！’”“我和陈毅同志说破了嘴皮，他们就是不干。我们是军队，又对他们强制不得，只好让他们走。”“后来听说他们到来阳、安仁边界，就被民团抓住，统统杀掉了。大革命失败的初期，‘左’倾盲动主义真是害死人。”
4月中旬，陈毅带着工农革命军第一师主力一部和湘南农军第三师、第七师以及何长工、袁文才、王佐带领的第二团一起到达酃县的沔渡，和朱德率领的主力部队汇合。何长工去见朱德，朱德非常关切地问他：“******同志什么时候能到？”何长工说：“两天左右可能会到宁冈。”并说他带着第二团先赶回宁冈去，准备房子、粮食，欢迎两军会师。
接着，朱德、陈毅带领直属部队从沔渡经睦村到达井冈山下的宁冈砻市，分别住在附近的几个小村子里。4月下旬，******率领部队从湘南的桂东、汝城返回砻市，立刻到龙江书院去见朱德。当时在场的何长工回忆道：“******和朱德同志的会见地点是在宁冈砻市的龙江书院。******同志一到砻市，得知朱德、陈毅住在龙江书院，顾不上一路征尘，立即带领干部向龙江书院走去。朱德同志听说******同志来了，赶忙与陈毅、王尔琢同志等主要领导干部出门迎接。我们远远看见他们，就报告******同志说：‘站在前面的那位，就是朱德同志，左边是陈毅同志，朱德同志身后的那位是王尔琢同志。’******同志点点头，微笑着向他们招手。
快走近书院时，朱德同志抢先几步迎上去，******同志也加快了脚步，早早把手伸出来。不一会，他们的两只有力的大手，就紧紧地握在一起了，使劲地摇着对方的手臂，是那么热烈，又是那么深情。毛译东同朱德同志这次历史性的会见，是我党我军历史上光辉的一页，从此，******和朱德的名字便紧紧地联系在一起。”会师后，两军领导人******、朱德在龙江书院召开了两支部队的连以上干部会议，通过了工农革命军第四军成立的各项决定与人事安排。接着，召开工农革命军第四军党的第一次代表大会，选举产生第四军军委，******任书记（5月20日以后，改由陈毅任军委书记）。四军军委由二十三人组成，委员有******、朱德、陈毅等。全军共辖六个团：由南昌起义军全部组成的第二十八团，由湘南宜章农民军组成的第二十九团，由湘南郴州农军组成的第三十团，由湘赣边界秋收起义部队组成的第三十一团，由袁、王部队组成的第三十二团，由耒阳等县农民编成的第三十三团，共一万余人。在第三十、第三十三团返回湘南后，又把军以下的师的番号撤销，由军部直辖四个团，其中的主力是第二十八团和第三十一团。6月，按****中央规定，工农革命军第四军改称工农红军第四军，简称红四军。
5月4日，在砻市沙洲广场召开了庆祝两军会师暨四军成立大会。上午10点许，******和朱德并肩走来了。******比以往任何时候都显得精神，他头戴八角帽，脚穿麻草鞋，身上换下了平时常穿的早已褪得发白的灰长衫，而穿上了一套崭新的灰军装。朱德则穿着一套半新的军装，脚打绑带，铁塔似的身材，威武雄壮。大会由陈毅担任执行主席，他以宏亮的声音向全军庄严宣告：中国工农革命军第四军成立（不久改为红四军)，朱德任军长，******任党代表，陈毅任政治部主任，王尔琢任参谋长。以三河坝战役后剩下的南昌起义部队残部为主成立的红四军使中国共产党有了自己真正的军队——中国工农红军。