1926年7月，叶剑英参加北伐战争，担任国民革命军第一军总预备队指挥部参谋长。在战斗中，其指挥才能充分显现。攻克南昌后，蒋介石有意让叶剑英担任第一师师长，叶剑英婉拒了。
后来蒋介石改编俘虏为新编第二师，任命叶剑英为国民革命军新编第二师代师长。叶剑英不好推辞。就任后，驻扎江西吉安。
黑暗时刻入党，叶剑英通电反蒋
1927年4月12日，蒋介石在南京发动政变，大批屠杀共产党人。当时，武汉国民政府声称继续革命，声讨蒋介石。
此时，两条路摆在叶剑英目前：一是继续当蒋介石的师长，二是反对蒋介石，投奔武汉政府。
他深受蒋介石信任，继续干下去，自然不愁富贵，正如他后来说的：“那时师长每月差不多都存二三万元收入。二三万元不少了，十个月就是二三十万，公公道道，做二三年师长就是个百万富翁。……如果只是为了个人，跟蒋介石走，至少可以做大官。”
但是，叶剑英又想到，“蒋介石在上海屠杀工人，屠杀群众，变成了十足的反革命！一个革命，一个反革命，阵线已很分明了。参加革命，还是反革命？想了想，只有革命才有出路。"
他自己看报纸，关上门，想了几天，最后下了决心，一边倒，倒到武汉方面。
决心已定，叶剑英与几个左派军官谈了自己的想法，决定通电全国，公开反蒋。他召集全师军官开会，告诉大家：愿意革命的，拥护武汉政府的留下；拥护蒋介石，想去南京的，也请自便。
他去武汉联络。同时第二师的左派军官组织委员会，发动起义，但很快被扑灭。
叶剑英通电反蒋之后，原第四军副军长陈可钰为这件事去报告蒋介石：“叶师长反对我们！“蒋介石不信，说：”叶师长不会反对我们。”陈第二次去报告："叶师长真的反对我们！"蒋介石偏了偏头，说：“好啦，知道了，你下去吧。”还是将信将疑。确定此事之后，蒋介石宣布永远开出他国民党党籍，并通缉捉拿。
叶剑英来到武汉后，被老相识、北伐“铁军”第四军军长张发奎邀请到四军军部，任国民革命军第四军参谋长。
1927年7月，他在严重的白色恐怖中，经李世安介绍，秘密加入中国共产党。
——这时候加入共产党的，那都是真汉子（晚年被很多人诟病的郭沫若，也是此时入党的）。
甘棠湖游园，促成南昌起义
主持武汉国民政府的汪精卫，也宣布开除蒋介石党籍，策划“东征讨蒋”，做出革命的姿态。这果然迷惑了斯大林和共产国际，他们认定汪精卫是国民党左派，指示中共联汪反蒋。
汪精卫收缴武汉工人纠察队的枪支，解散童子团。这明明是反共恶行，共产国际驻中共代表罗易(印度人)却表示赞同。罗易甚至把共产国际给中共的指示——关于武装工农、进行土地革命的决议，送给汪精卫看。
汪精卫看了大吃一惊，立刻现出反共真面目。7月15日，他宣布“宁汉合流”，开始大批屠杀共产党人。
此时，汪精卫和第二方面军司令张发奎住庐山。他们觉察到新编第二十军军长贺龙、第十一军第二十四师师长叶挺和由叶挺独立团扩编的第四军第二十五师深受共产党的影响，有很大危险。
汪精卫便秘密策划以张发奎的名义，先邀贺龙、叶挺上庐山避暑，并商议军情，待贺龙、叶挺上山后即行扣留，尔后命令这两支部队开到九江与南昌之间的德安，用3个军的兵力将其包围缴械。
刚加入中共不久的叶剑英，时任第二方面军第四军参谋长，随军驻扎在庐山脚下的九江。得知这一情报后，叶剑英假装邀请叶、贺二人游览九江市中心的甘棠湖。当叶剑英坐的小划子靠近烟水亭时，贺龙、叶挺、第二方面军参谋长高语罕和第四军政治部主任廖乾五都来了。
这几人除了贺龙，都是中共党员。他们装着偶然相遇，互相打着招呼，上了同一只小划子。
叶剑英告诉贺龙、叶挺：“名义上是上山避暑商议军情，实际上是要把你们二人扣起来，缴掉你们两支部队的枪。”
正因为叶剑英及时通报汪精卫、张发奎的阴谋，贺龙、叶挺两支部队才不顾张发奎一次又一次的严令，快速赶往南昌，参加了8月1日由周恩来等领导的南昌起义，打响了武装反抗国民党的第一枪。
带出了教导团，发动广州起义
起义军撤出南昌后，张发奎本来要追赶的。叶剑英假装为张发奎献策：起义军要去广州，广州李济深必然要狙击起义军，到时候张发奎就可以坐享渔翁之利了。张发奎一想有道理，就停止了追击。这使起义军避免了前后夹击的状况。
在南昌起义之前，中共组织原计划还有一支革命武装力量，即中央军事政治学校武汉分校的师生，也准备参加起义。这个学校组建于1926年底。当时，第一次国共合作还没有破裂，革命势力在学校占优势，邓演达是代理校长，恽代英曾任政治部教官，陈毅任该校中共地下党委书记。学校是为继续北伐培养军政干部的一个基地，也是第一次国共合作时期武汉政府的一个重要支柱。全校有男女学生四千余人，革命气氛很浓。
宁汉合流之后，国民党反动派便把武汉军校的革命师生视为眼中钉、肉中刺。国民革命军第一方面军总指挥唐生智突然命令军校进行洪山野外演习，密令其嫡系军长何键、李品仙、刘兴等率队，将军校师生团团包围在洪山之上，企图一举歼灭之。
叶剑英得知后，即刻去找张发奎，劝他趁机解围，把军校这股武装力量收编过来，以壮大二方面军的力量。张发奎接受叶的劝告，立刻亮出“左派”领袖的招牌，亲自出马交涉。
唐生智、何键慑于张发奎的压力，不得不终止其策划已久的反动阴谋。不久，武汉军校被张发奎宣布解散，改编为第二方面军的教导团，这支革命武装总算被保存下来了。
武汉中央军校改名为第二方面军教导团后，团内还有一百多名没有暴露身份的共产党员。全团编成三个营，以及炮、工、辎重、警卫各一连，另有一个女生队。原军校女生大队三百多名同学在改编时，被迫遣散。但是，游曦、郑梅仙、骆英豪、曾宪植等三十几个人坚持不走，被编入教导团。另外，还有以崔庸健为首的朝鲜学生一百多人。团长由原第二方面军参谋长谢膺白兼任。
7月31日晚，教导团根据张发奎命令，出发“东征讨蒋”。教导团在赴南昌途中受阻，直到8月4日全团才乘船赶到九江。
这时，张发奎突然下令缴械、“清党”。在这种情况下，已经暴露身份的陈毅连夜召集中共地下组织会议，决定：除秘密党员留下外，已暴露身份的党员迅速转移。陈毅带特务连长萧劲奔赴南昌。不少学员怕遭到国民党反动派的屠杀，又感到南昌起义已经失败，前途渺茫，于是纷纷离队。
叶剑英寻找机会，几次来到教导团，找教员和学员们谈话，做了许多鼓励工作，要想尽一切办法把这支力量保存下来，交给党使用。8月上旬，他兼任第四军军官教导团团长，使这支革命武装成为广州起义的主力。——后来，毛泽东深深惋惜这支部队没有带到井冈山。
在南昌起义军南下之际，盘踞在广州的桂系军阀李济深同张发奎拉开了争夺战的序幕。李济深不但掌握着军事实权，而且担任着国民党中央政治会议广州分会主席和广东省政府主席的职务。他为应付南昌起义军进粤，急急忙忙调兵遣将去潮汕增援，广州几乎成为一座没有防守力量的“空城”。
张发奎趁机让第四军军长黄琪翔打起“援李讨逆”的旗号，率领第四军从江西直驱粤北，转向广州，在李济深的“礼遇”下，浩浩荡荡开进了五羊城。叶剑英也回到了广州，在张发奎身边工作。
经过几个月准备，12月11日，他与张太雷、叶挺等领导了广州起义，任工农红军副总指挥。
这次起义，仅坚持了两天就被镇压下去。但它和南昌起义、秋收起义相连接，成为第二次国内革命战争与创立中国工农红军的伟大开端。
三大起义，有两次是和叶剑英有关的。
