1927年4月15日，继蒋介石集团清党之后，广东省国民党当局（李济深）亦在广州等地实行暴力清党，大肆屠杀共产党人，实行白色恐怖。当时的李济深担任国民党中央政治会议广州分会主席和广东省政府主席的职务。他为应付南昌起义军进粤，急急忙忙调兵遣将去潮汕增援，广州几乎成为一座没有防守力量的“空城”。
此时，因为共产党的暴动而实力大损的张发奎，正尾随南昌起义军南下。他早已觊觎广东的地盘，一看时机已到，便让第四军军长黄琪翔打起“援李讨逆”的旗号，率领第四军从江西直驱粤北，转向广州，在李济深的“礼遇”下，浩浩荡荡开进了五羊城。
张发奎回到广州以后，以第二方面军总指挥的名义发表“凯旋宣言”，声称此次班师回粤有三大使命：第一，肃清共产党，铲除叶、贺逆军；第二，改善广东的政治；第三，扶植工农。他还搬出大革命时期的一些口号来欺骗群众。然而，他的真实意图则在于对李济深与南昌起义军之战作壁上观，等待双方力量削弱之际，乘机夺取广东全省的政权。
这时，为了保存革命力量，共产党员叶剑英继续留在张发奎身边，担任第四军参谋长兼教导团团长。但是，却遭到第四军副军长陈可任等一些高级军官的反对。对于这件事，叶剑英曾作过如下的回忆：
我一到广州，见到了国民党的军官陈可钰和薛岳等。陈可钰是国民党的元老之一，曾当过孙中山的警卫团团长。陈可钰知道张发奎要继续留我在第四军，便跑去见张发奎说：叶剑英这个人靠不住，过去蒋介石对他那么好，结果他反蒋，这个人留不得。
那时，张发奎还有点革命气概，当场反驳说：“反蒋？我也反！那时的蒋介石，该反就得反！”又说：“你们不要老叶回来，我就叫他请假，到德国留学去。”陈可钰找了张发奎以后，我去见张发奎，张问我：“老叶，你回来，陈可钰、薛岳都反对，你看怎么办？”我想了想说：“我还是去外国学习吧。”张发奎劝我不要急着走，先打个出洋报告，领下留学费用，等将来一起走。
这样，我就留下来了，继续担任第四军参谋长。既然陈可钰等反对我回广州，那么，我的行动就要注意一下了。我把情况向当时党的负责人黄锦辉作了汇报，并报告了省委军委。
黄锦辉是当时****广东省委与叶剑英保持单线联系的负责人。他也是黄埔军校毕业生，参加过东征战役。1926年年底周恩来调离广州后，他负责广东省委军委工作。叶剑英到达广州不久，即与他秘密接上了头，向他汇报了教导团随军南下和此次单独来穗的工作情况，以及准备在广州暴动的设想。当时中央已于九月明确指示要发动广州起义；广东党组织的任务是利用李济深和张发奎两派军阀之间的矛盾，积极作起义的准备；要纠正消极等待叶、贺军配合起义的思想；省委正着手组织总同盟军罢工，扩大工人赤卫队，发动市郊农民暴动，并分化敌军使之一部分能站到工农方面来。黄锦辉还交给了叶剑英这样几项任务：（一）要在张发奎的第四军中站住脚跟，掌握敌军动态；（二）加强对教导团的控制，掌握好这支暴动的基本武装；（三）利用敌人的矛盾，分化削弱敌人力量，壮大革命力量。最后黄锦辉叮嘱：对张发奎不能抱幻想，要提高警惕，处处小心，不能露出马脚。叶剑英与党组织取得了联系，了解了党组织的意图，更加谨慎行事，在极其复杂险恶的环境中秘密地进行起义的准备工作。
这一时期，****广东省委适时地利用张、李之间的矛盾，积极恢复和发展共产党的组织，发展工会、农会并进行各种斗争，全省工农运动日趋活跃。在广州市，有组织的工人纷纷驱逐国民党派到工会的改组委员，选举自己的工会委员，并为争取真正的民主权利和改善工人生活条件进行斗争。10月14日海员举行的罢工，得到各业工人的援助，2万多工人举着镰刀斧头红旗，向反动政府示威，显示了广州工人阶级的觉悟和力量。在广东省其他地区的农民运动，也有所恢复与发展。为配合南昌起义军的行动，广东东江等地区农民，在9月发动了秋收抗租暴动。7～17日，****海陆丰县委领导海丰、陆丰两县农民赤卫军和农民群众举行起义，一度占领该两县城。10月30日，工农革命军第2师（由南昌起义军第24师余部编成）和海丰、陆丰农民赤卫军及农民群众，再次举行起义，占领了两县全境，并建立了两县的苏维埃政府。
张发奎在广州站稳脚跟后，于11月17日用武力驱逐了李济琛驻广州的机关、部队，接着向西江、北江扩展，夺取了广东政权。张发奎、黄琪翔通过这场被南京政府称为“急煞人的广东事变”，夺得广州政权后，马上在东较场召开所谓“护党”祝捷大会。张、黄首先得意地发表演说，但未引起多大反响。随后，叶剑英登台发表支持工人革命斗争的讲话，受到了与会群众的热烈拥护。会场上成千上万的工人群众高举红旗，高呼“打倒新军阀！”“士兵弟兄们站到工人方面来！”等口号。他们还当场散发革命传单。教导团和一些同情革命的士兵被深深感染，公开表示支持工人的革命行动。
“护党”祝捷大会上显示出来的工人和士兵的革命情绪，使张发奎大为惊恐。他进一步撕下“左”的假面具，采取了加紧镇压工人运动的步骤。同时，他对教导团越来越不放心。为了控制教导团，他将自己的表弟朱勉芳派往团里当参谋长，又安插一批亲信到教导团，严密监视革命师生的活动。但是，由于教导团的****组织基础雄厚，叶剑英的影响较深，实际的领导权仍然掌握在“老团长”的手里。就在张发奎把注意力转向对付日益高涨的工人运动的时候，他们的对手李济深、黄绍竑却在暗中调兵遣将，组成东西两路军，准备打回广州。其东路军指挥为陈铭枢，辖第十一军约两个师的兵力，从汕头向惠州方向进击。
西路军指挥为黄绍竑，辖桂军第十五军、徐景唐的第十二师等约4个师的兵力，集结于广西梧州等地，企图配合东路军夹击广州。
面对如此紧迫的形势，张发奎赶紧召集军事会议，商讨对策。会上，有的主张全面出击，有的主张先打东路之敌，有的主张先打西路之敌。各种意见，争执不下。叶剑英在发言中，首先分析了东西两路的敌情：东路陈铭枢由福州进入潮汕，实力较强，比较难打；而西路黄绍竑从广州败退广西，刚刚纠集起残兵败将，队伍虽多，多属杂牌，且立足未稳，比较好打。因此，他主张捏紧拳头，集中兵力打击广西一路来敌，先拿黄绍竑开刀。
张发奎采纳了叶剑英的意见。叶剑英见时机成熟，使出“调虎离山”之计，以参谋长的身份建议速战速决，说：“要打梧州，一定要全力以赴！”张发奎任命黄琪翔为前敌总指挥，将广州防务交由叶剑英负责。黄琪翔根据叶剑英提出的作战方案，率第四军主力缪培南第十二师、许志锐第二十六师开赴肇庆、梧州一带，进击黄绍竑；派政变后新编的教导第二师黄镇球部增防西江；派薛岳师和李福林军的两个团去江门、四邑，以钳制态势向徐景唐的十三师逼进。其余部队也大都调至广州外围防守。这样，广州城内只剩下教导团和警卫团一个营及其他少数部队。广州一时成了一座“不设防的城市”，这就给革命武装起义造成了极好的时机。
这样，张发奎在广州市内的部队，仅有第4军军部、教导团、警卫团、新编成的第2师第3团、担负训练任务的炮兵团和一些警察武装。另外，第5军军部和少数部队驻守在珠江南岸。这些部队中战斗力最强的教导团和警卫团一部，则为共产党所掌握。仅就广州市区的力量对比来看，确实是举行武装起义的有利时机。但是，粤桂军阀之间的战争，尚未大规模爆发，张发奎的部队仍驻守在广州外围，这无疑将对起义构成严重的威胁。
然而，****中央认为两广军阀争夺广东地盘的冲突，实际上是工农群众革命潮流的高涨，当即通过《广东工作计划决议案》，要求广东省委“坚决地扩大工农群众在城市、在乡村的暴动，煽动士兵在战争中哗变和反抗，并急速使这些暴动会合而成为总暴动，以取得全省政权，建立工农兵士代表会议的统治”。依据****中央的指示，广东省委展开了紧张的工作，除要求各地利用粤桂军阀之间的战争，发动农民拒交冬租，举行暴动之外，特别关注组织和领导广州市的暴动。
11月26日，张太雷从香港返回广州，秘密召开了有部分省委常委参加的会议，具体研究了广州暴动的准备工作，决定乘张发奎在广州兵力薄弱的有利时机，组织共产党所掌握的第4军教导团和警卫团一部以及工农武装，举行武装起义，并成立了以张太雷为委员长，黄平、周文雍为委员的革命军事委员会，负责领导起义。会后，张太雷等人到教导团和警卫团中进行起义的动员与组织工作，并着手组织与训练工人赤卫队，将工人赤卫队编成7个联队和两个敢死队，周文雍为总指挥。同时发动与组织郊区的农民参加起义。第4军教导团系由原国民党中央军事政治学校分校改编的，叶剑英曾兼任团长。为保护和发展这支为共产党所掌握的部队，叶剑英做了卓有成效的工作。该团共1000余人，装备较好，战斗力也较强，是广州起义的主要武装力量。
12月6日，****广东省委在张太雷主持下，召开紧急会议，会议讨论通过了起义的政纲、宣言、告民众书等文件，以及成立苏维埃政府的人事安排等问题；研究了起义力量的部署和军事行动。会议决定于12月12日举行起义。随后又成立了起义军总指挥部和参谋部，叶挺任总指挥，叶剑英任副总指挥。
广州起义迫在眉睫。12月8日，****广东省委在《关于暴动工作的准备情形给中央的报告》中特意提出：“我们指导力量薄弱，希望恩来兄能即来。”但周恩来因工作离不开，未能来粤。起义前夕，汪精卫和张发奎对起义的计划有所察觉，准备解散教导团，在广州实行戒严，并调其远离广州的主力部队赶回广州。革命军事委员会根据叶剑英和其他方面提供的情报，决定于11日提前起义。
****广东省委派叶挺前来广州担任军事总指挥。他12月10日从香港仓促起程，当晚到达广州，立即投入了紧张的起义前的战斗部署工作。10日晚，起义总指挥部成员及有关人员举行了秘密会议。参加会议的有叶挺、张太雷、周文雍、黄平、聂荣臻、杨殷和徐光英；还有新任命的教导团团长李云鹏和各营营长叶镛、赵希杰、饶寿柏，警卫团团长梁秉枢，以及工人赤卫队、市郊农军的领导骨干多人。会议确定了起义的时间和各路起义队伍的战斗任务、行动路线、联络信号等等，同时要求大家严守纪律，听从指挥，坚决完成任务。
午夜，在教导团的营房里，几名革命战士按照计划悄悄摸进参谋长朱勉芳的卧室，将其处决。与此同时，各连的反动分子也被一网打尽。紧接着，全团革命师生臂带红布条，鸦雀无声地集合在操场上。起义领导人张太雷、叶挺、恽代英等到达操场，简短地进行了战斗动员。
1927年12月11日3时许，在张太雷、叶挺、黄平、周文雍、叶剑英等领导下，教导团全部、警卫团一部和工人赤卫队共5000余人（其中工人赤卫队3000余人），分数路向广州市各要点发起突然袭击。在广州的苏联、朝鲜、越南的部分革命者也参加了起义。东路，教导团主力在叶挺直接指挥下，迅速将驻在沙河的1个步兵团打垮，俘600余人，缴获武器一部，继之消灭了驻燕塘的炮兵团，尔后回师市区，协同工人赤卫队攻占了公安局。中路，教导团一部和工人赤卫队攻占了国民党广东省政府及其以北的制高点观音山（今越秀山）等地。南路，警卫团第3营及工人赤卫队一部向第4军军部、第4军军械库等地攻击，遇到顽强抵抗，未能攻克。与此同时，广州市郊芳村、西村等地的农民约2万人举行起义，一部进入市区配合起义军的行动。起义军民经过10个多小时的战斗，除第4军军部、军械库和第4军第12师后方办事处之外，珠江以北市区的国民党军、保安队和警察武装均被消灭，缴获各种炮20余门，各种枪1000余支。当日上午，广州市苏维埃政府成员和工农兵执行委员会举行第一次会议，宣告广州市苏维埃政府成立，（广州公社）****中央政治局常委苏兆征为主席（在苏未到广州前由张太雷代理）。历史性的将起义军命名为工农红军，叶挺为总司令。会后发布了《广州苏维埃宣言》、《告民众书》以及有关的法令。当天，广州市工人、农民和市民欢欣鼓舞，热烈拥护革命政府，积极参加起义。