一在黄埔军校筹备处
正当孙中山领导的资产阶级民主革命困难重重、步履维艰之际，迅速崛起于中国政治舞台上的一支新兴的革命力量——中国共产党向他伸出了援助之手。1923年6月，中国共产党在广州召开了第三次全国代表大会。大会决定共产党员以个人身份加入国民党，以建立各民主阶级的统一战线，共同进行国民革命，并提出了国共合作的目标和办法。这次大会以后，国共合作的步伐大大加快了。1924年1月，孙中山在共产国际和中国共产党的帮助下，在广州主持召开了国民党第一次全国代表大会。大会通过了有共产党人参加起草的以反帝反封建为主要内容的宣言，确立了联俄、联共、扶助农工的三大政策，从而把旧三民主义发展成为新三民主义。这次大会的召开，标志着第一次国共合作的局面正式形成，揭开了中国大革命的序幕。
叶剑英作为孙中山的一个忠实追随者，一个普通的国民党员，热烈拥护大会的决定。他为孙中山和共产党人的言论所吸引，怀着追求真理的渴望，阅读列宁的著作和介绍俄国革命的书籍以及中国共产党创办的书刊。他开始认识到，中国共产党的革命主张反映了时代的潮流，真正代表了工农大众的利益，必将受到工农群众的拥护。国民党“一大”前后，在中国大地上发生了一系列反帝反封建的工农运动，特别是香港中国海员工人大罢工、京汉铁路工人的“二七”大罢工，以及发生在广东的工会、新学生社等70多个团体联合举行的示威，这些声势浩大的群众革命运动，使叶剑英受到了实际而深刻的教育。他由此更加相信孙中山联合共产党、扶助农工政策的正确，尤其敬佩这位伟大的革命先驱善于从失败中汲取教训，全力推动中国民主革命事业向前发展的大智大勇和不屈不挠的品格。
孙中山逐渐懂得了建立革命军队的重要。他先后在桂林、上海、广州与共产国际代表马林、越飞、鲍罗廷等人多次会谈，采纳了他们提出的创办军官学校、建立革命军队的建议，并派遣蒋介石、王登云、张太雷等组成的“孙逸仙博士代表团”去苏联学习考察。
创办黄埔军官学校，是国共合作后孙中山的一个重大决策。叶剑英对此曾做过这样的评述：
“1921年至1924年，是中山先生一生思想的最高峰。……1922年，中山先生回到广州后，根据自己研究和苏联革命经验，以及和加伦将军在一起研究了苏联建立红军的经验之后，深深感到要实行革命非得有革命的军队不可。这支革命军不仅要每一个成员具有革命思想，也必须有革命的军事制度。所以，后来下决心办黄埔军校，在军队中实行党代表制度，建立军队政治工作制度，形成了中山先生那个时期的比较完备的建军思想。
中国国民党第一次全国代表大会后，孙中山即着手筹办陆军军官学校，军校设在广州附近的黄埔岛上，人们称它为黄埔军校。孙中山指派蒋介石为黄埔军校筹备委员会委员长，并任命王柏龄、李济深等七人为筹备委员会委员。
2月6日，黄埔军校筹备处在广州市南堤2号正式成立，分设教授、教练、管理、军需、军医等部，李济深、王柏龄、林振雄等为各部门临时主任。粤军第一师师长李济深暂未到职，由邓演达代理。
蒋介石虽被委派担任陆军军官学校筹备委员会的委员长，但他态度并不积极，也不做实事。真正负责实际筹备工作的是孙中山的得力助手廖仲恺。孙中山在筹备军校之始，就委任廖仲恺为大本营秘书长，协助筹划军校开办事宜。廖仲恺不但日夜为筹措办校经费操劳，也为物色办校的人才费心。他听说粤军第八旅参谋长叶剑英是文武兼备的将才，便邀请他来参与办校。
叶剑英从八旅来到筹备处报到，被分配到教授部给王柏龄当助手，分管教学方面的事。筹备处刚刚成立，千头万绪，事如乱麻。叶剑英刚开始接手工作，就遇到不少困难。筹备处不仅资金缺乏，人手紧张，而且常常碰到各种阻力。他逐渐感到，有些阻力来自国民党内部。当时在创办军校问题上，真心拥护孙中山主张的只有廖仲恺、宋庆龄、何香凝等左派。而国民党内有些右派分子，不但不予支持，反而阻挠破坏。孙中山、廖仲恺依靠苏联和中国共产党的帮助，以极大的耐心和魄力克服人力物力等各方面的困难，为建校铺平道路。邓演达、叶剑英等奉命奔走于粤军各军、师之间，想方设法抽调人员、借款借枪，以应急需。
二军校停办风波
正当邓演达、叶剑英等人为筹备工作日夜奔忙的时候，发生了一个意外事件。
2月下旬的一天上午，蒋介石的英文秘书王登云来到筹备处，突然宣布了蒋介石的停办军校的命令。叶剑英和在座的人听了，感到莫名其妙，纷纷提出质问。
王登云避开正题说，现在蒋委员长已经离开广州。军校不办是肯定的了，没有什么好议论的，筹备处马上解散。委员长走前交代，参加筹备处的同志，一律发给遣散费。接着，他从皮包里拿出名单念起来：“邓演达先生二百二十元，……叶剑英先生一百五十元……”
邓演达和叶剑英等提出抗议，反对不明不白地停止办校，遣散人员。
原来，蒋介石对孙中山不让他过问党务和军政大事的安排不满，借口经费拮据，停办军校，辞职返回家乡浙江省奉化县溪口镇去了。
停办军校、解散筹备处的消息传开后，一时人心惶惶。邓演达、叶剑英等人经过商量，觉得此事颇为蹊跷，决定去请示廖仲恺。不巧，廖仲恺去了香洲，不在广州。廖仲恺回来以后，听到蒋介石下令停办军校的消息，立即到筹备处召集大家开会。他恳切地说：应该了解，办黄埔军校是党要办的，而且一定要办。你们中间有人是蒋先生邀请来的，你们应该以君子爱人以德的态度帮助蒋先生。如果党要办，蒋先生不要办，或因此办不成，那么蒋先生就要开罪于全党。将来？他如想回来再参加革命，怕也很困难了。所以筹备工作要照常进行。
大家听了廖仲恺的一番话语，吃了定心丸，都表示要按廖先生的意见去做。叶剑英十分敬佩这位革命先驱的磊落胸怀和与人为善的精神。他以廖仲恺为榜样，克服各种困难和障碍，日夜操劳，努力把筹备工作做好。筹备处有关教授方面的事务多半落在叶剑英肩上。从制定教授计划方案、招聘教员、招考学生、编写教材，到置办教具，事无巨细，叶剑英都直接经办。遇到一些重大问题，还要同王柏龄、邓演达等商量，请求廖仲恺帮助解决。
在苏联政府和中国共产党的帮助下，廖仲恺组织筹备处的全体人员经过两个多月紧张而艰难的工作，筹备工作有很大进展，军校很快就可以接纳学员，正式开课了。可是直到此刻，蒋介石还没有回校之意。经过孙中山、廖仲恺的多次催促，直到4月下旬，他才不得不从溪口返回广州。
三教授部副主任
1924年5月3日，孙中山任命蒋介石为黄埔军校的校长兼任粤军参谋长。5月5日，黄埔军校开课。6月16日正式开学。从全国各地考取的500名有志于革命的热血青年陆续跨进校门，开始了紧张的学习生活。
学校组织机构陆续健全起来。孙中山亲自兼任学校总理。他确定，军校的办校宗旨是“创建革命军”，以“亲爱精诚”为校训，倡导“团结，奋斗，牺牲”三大精神。他非常强调学习苏联红军的经验，在军校仿照苏联红军的政治委员制度，建立了党代表制度。5月9日，他特别任命廖仲恺为驻校国民党代表，并规定，凡军校的一切命令、公文，必须由党代表签署，交由校长执行，否则无效。这样就保证了党的新三民主义精神的贯彻和实施，使军校真正成为培养革命干部的基地。
在校长和党代表之下设6个部，即政治部、教授部、教练部、管理部、军需部和军医部。教授部由王柏龄任主任，叶剑英任副主任，并兼任教官。此外，又聘请了钱大钧、沈应时、顾祝同、刘峙、胡树森、陈继承、文素松、严重、王俊等为教官，还有5名苏联教官，1名日本教官，组成了一支阵容相当可观的教员队伍。教授部的任务按照当时的军校《组织条例》规定，主要有6项：（一）计划教育，审订教案；（二）审编课程，征集教材；（三）实施教授，编配考察；（四）考核成绩，审订表册；（五）保障图书器材；（六）负责所属人员的统计调查及升降任免。
作为副主任的叶剑英，肩上的担子是很重的。他除了完成王柏龄交办的杂七杂八的事务性工作以外，把主要精力都用在了教学业务方面。举凡各学科、术科的课程安排、协调和联络，教学生活保障，以及课前备课，课间听讲、课后检查、学期测验等活动，叶剑英都要积极参与并组织实施。当时教授部管4个队的8个教授班。每一堂课都要下发油印讲义，每天要刻印讲义达100页以上，由七、八个同学分送到各班学生手里。每天操课时间为9小时（术科5小时，学科4小时），还有晚自习2小时。学生的作息制度、活动情况，叶剑英都要过问和安排。除此之外，他还直接担任几个队的兵器学等课程的讲授。兵器学原理涉及的数理化知识较多，又无现成教材。为了教好这门课程，叶剑英温习过去在云南讲武学校所学的知识，同时补充新的资料，认真备课，细心讲解。当年听过他讲课的黄埔军校第一期学生苏文钦，多年以后回忆说：“记得，我在军校多次听叶剑英教官讲课，都是讲的兵器学，讲兵器的性能和如何使用，等等。他讲课，十分吸引人，一点也不枯燥，很有风趣，大家都很愿意听。”