依照蒋介石的思想逻辑，是无法接受共产党的理论纲领的。但是联俄、溶共是孙中山的政策，他不能不服从。而且为了夺取权力，共产党的力量还可以利用，因此在这一段时间里蒋介石必须容忍共产党的存在。当共产党及左翼力量成为他独裁的绊脚石时，蒋介石毫不犹豫的撕掉了赤色面纱，开始公开反共，第一步就是清党。
为了成功地实现自己的政治目的，蒋介石第一件要做的事就是迫切需要建立自己的幕僚班子，团结一批忠诚可靠的心腹亲信。为此，蒋充分利用了他多少年利用封建道义和江湖规矩结交的朋友和盟兄盟弟们，除约集在南方政权中任职的张静江、陈果夫、戴季陶等到南昌密谋外，还从北方招来了许多旧时好友共商大事。
蒋介石从河南召来了他留学日本的同窗张群，任命其为国民革命军总司令部总参议，主持南昌行营事务，两次致函在天津蛰居的黄郛，邀他火速南下，助蒋完成大业。蒋介石之所以器重黄郛，除了因为两个人关系比较亲近，黄郛本人精明有才，足智多谋外，还与此人有一定的社会影响力有很大关系。如黄郛与日本外相币原以及上海金融界都有较为深厚的关系。事实上，日本帝国主义与蒋的接近，上海金融界对蒋介石的鼎力支持，都与黄郛的牵桥搭线和左右疏通有着密不可分的联系。当黄郛了解到革命阵营中各派之间的矛盾已不可调和，以及蒋介石的实力情况后，决定携助蒋介石助其完成“大业”，助其一臂之力。
黄郛抵达南昌时，张静江、戴季陶等蒋之心腹都已恭候多时。1927年1月底至2月初，蒋介石同张静江、黄郛在庐山牯岭仙岩旅馆朝夕相处，经过多日之谋划，最终形成如下决议：
第一，“苏联顾问太专制了，共产党太可怕了，使国家观念很重的国民党感觉不安，必须离俄清党”。不仅要放弃“联俄容共政策”，而且要“改变类似苏联的组织”。
第二，财政方面，“关会事务乃全政治之一部分。国家必须有根本一贯的大政方针，庶几一气呵成，厘可以裁，债可以理，而财政基础即于是乎定”。“每逢政潮起伏，银行界神经最锐敏”，对于中国银行来访的人士，必尽量解说“来龙去脉”，使其“得到推演的概观以去”，以获得银行界的资助。
第三，外交方面，“中国两个邻居都不善”；如今“只得先顾缓急轻重”，“中日关系与中苏关系比，无论如何不应该放弃日本这一条路”。“国民党若要改变一面倒与苏联的办法，日英两国是不能不首谋谅解的。”在加强与日本联系的同时，不能忽视与英国的来往。
第四，军事方面，在北方之阎锡山、冯玉祥两个力量，或思想、或历史、或友谊均可与国民革命军合作。联合阎锡山、冯玉祥，减少对立面，早致统一。
第五，社会人心方面，鉴于一般人畏惧恐怖国民党联俄容共政策之后果，“上海空屋日多，而天津租界地产价格呈空前绝后之暴涨，初则广帮，继则沪帮，纷纷北来”，北方成为“中产阶级准备的最后立脚处”，所以明示政策，使国民有所了解，是极为重要的事。
第二件事就是经费问题。不管是过去，现在，还是将来，做什么事首先都离不开钱。没办法，没钱就是不行。
蒋介石在酝酿反共“清党”的过程中，特别注重获取江浙财团的支持，何以如此?原因有二：其一，江浙财团具有雄厚的经济实力，有联合之必要；第二，蒋介石与江浙财团有历史的渊源，具备联合之可能。所谓江浙财团，乃是以上海为基地，并以江浙籍金融资本家为核心的大资本集团的总称。江浙财团不仅专指江浙籍的资本家集团，凡是以上海为其资本活动基地的其他籍的资本集团，都包括在内，江浙财团也不仅指银行资本集团，还包括工商资本集团。由于银行资本集团掌握金融实力，故成为这一财团的核心。
上海是资本主义工商业最集中的城市，它不仅是中国商业和工业中心，还是中国和西方世界来往接触的集中点。在上海这一基地上发展起来的江浙财团，其经济实力在中国民族资本各行业中居于首位。就金融业而言，江浙财团不仅拥有远远超出“北四行”的巨额存款，其金融势力还渗透到全国各重要银行。就工业资本集团而言，如茂、福、申新公司、南洋兄弟烟草公司、大中华火柴公司、三北轮船公司等，无论生产能力、船舶吨位，还是生产数量均在全国各该业遥遥领先。如果说上海是近代中国经济的枢纽，那么江浙财团就是这一枢纽的操纵者。正因为江浙财团在中国民族资本主义经济中具有如此雄厚的实力，蒋介石十分重视获取江浙财团的资助与支持。
纵观民主革命时期民族资产阶级在历次反帝爱国运动中的态度，似乎带有一个规律性的变化：运动的初期他们都能热情支持并参加，但最终的结果都以妥协而告结束。不难理解，中国的民族资产阶级所生存的环境是一个半殖民地和半封建社会，他们基于自身的经济利益，同外来的侵略和压迫，是始终处于对抗地位的，所以在一定时期和一定程度上会参加到反帝统一战线中去。”但一旦这种工农主体的运动发展到足以威胁到他们自身利益的程度，他们则会转变态度，以对付先前敌人的手段来对付破坏他们既得利益的人民革命。再加上北伐过程中工农运动一度出现过火行为，更加促使上海资本家迅速地向蒋介石一边靠拢。
当白崇禧的北伐军到上海后，他们这些大资本家们对工人的态度就变了。上海纱厂联合会主席荣宗敬在3月23日总商会召集的会议上说：“工潮不决，纷扰无己，根本解决，须请白总指挥发统一命令，解决工潮，乃可复工。工人手中一有枪械，闻者寒心，务须收回枪械以维治安。”虞洽卿等并联合十九个重要团体成立上海商业联合会，准备“竭商人之全力，促政治之改良”，镇压“毁工厂而捕店主”的共产党。
蒋介石的历史中曾经有过一段在上海商界奔波起伏的经历。在上海流浪的几年岁月中，虽说蒋介石没有发什么大财，但却结识了一大批相当有影响的商界权威，而这便成为现在蒋介石筹备战争资金的重要来源和以后蒋进行独裁统治的经济后台。
1927年1月中旬，蒋介石在武汉宁波会馆与江浙资本家以及工商界头面人物会面，明确地表示他反对武汉国民政府的财政经济政策和工人运动。暗地里，蒋介石直接派当时任国民革命军总司令部经理处处长、军政署署长要职的徐捋秘密赴沪联络，首先经钱永铭、陈光甫向上海金融界筹借到一些款项，他在1月25日写信给钱、陈的亲笔信中说：“沪上来友，皆称者公主张会道，扶持党义。岁寒松柏，尤其感佩!”钱、陈接信后，急忙筹措50万元，借蒋介石年关之急用。虞洽卿和蒋介石系旧识，早在国民政府即将北伐之际，虞即派盛冠中去广东试探蒋，结果，蒋介石对其盛热情款待，很好地表现出讲交情，重乡谊的姿态。因此，当蒋介石设司令部于南昌时，虞便亲赴南昌拜会蒋介石。虞了解了蒋的意图后，回沪与江浙财团中的一部分人以所谓“为维护各业安全起见”，“对外应时势之需要，对内谋自身之保障”的目的，撇开与军阀孙传芳有密切关系的傅筱庵任会长的上海总商会，于1927年3月22日另行组织了包括上海县商会、闸北商会、银行公会、钱业公会、交易所联合会、纱厂联合会等60多个团体的上海商业联合会，准备为蒋介石效力。
上海商业联合会成立后，江浙资产阶级就以此名义与蒋介石联系活动。1927年3月26日，蒋介石抵上海，虞洽卿当晚就去晋见蒋介石，商量组织替蒋介石筹措军饷的江苏省兼上海市财政委员会问题。29日，九名大资本家赴交涉公署“往见蒋总司令，接洽一切”。蒋介石明确表示：“此次革命成功，商界暗中助力，大非浅鲜。此后仍以协助为期。”江浙资产阶级也表示愿意在经济、政治上支持蒋介石，双方达成了交易。此后，江浙资产阶级在经济上给蒋介石提供了一笔又一笔巨款。棉纺业的荣宗敬拍胸脯说：“要钿钱用，我有，做事体请洽卿、晓籁两位老哥，(钱)要多少，我出多少。”3月29日，上海商业联合会代表往见蒋介石时，他们就表示愿意“认捐五百万元，即继续输将，亦商所愿，借款可另案办理”。4月1日，上海金融业资本家向蒋垫付了三百万元(银行公会二百万元，钱业公会一百万元)，直接资助蒋介石发动了四一二反革命政变。之后未几天，蒋介石接二连三地发电报要上海商业联合会催拨饷款，商业联合会也大都照办，不敢迟疑怠慢。
第三件事就是寻求帝国主义的支持。这是为当时中国半殖民地实际状况所逼迫的必然行为。
1927年1月中旬，蒋介石自汉返赣后不久，即会见了日本驻九江领事江户千太郎，日本领事电告币原外相：蒋谈话明确表示，他非但不打算废除不平等条约，而且还要尽可能地尊重现有条约，保证承认外国借款，并如期偿还，外国人投资的企业将受到充分的保护。当蒋介石留日时的老师小室敬二郎奉海相财部彪的差遣来到牯岭访蒋，蒋向小室表明了其对苏态度，称：“我们没有受苏俄利用和指导”，“苏俄(制度)不可能在中国再现”。“我们没有考虑过用武力收回上海租界”，并强调指出：我理解“满洲”同日本在政治、经济上的重大关系，日本人在日俄战争中流过血，“有感情上的问题”，我认为对“满洲问题”必须“特殊考虑”。蒋还明确表示：“我欣赏币原外相的演说，如果日本正确评价我们的主义和斗争，我愿意同日本握手”。蒋介石向日本表明意向之后急欲得知东京的反应，于是派黄郛去汉口联络日本总领事高尾，派遣戴季陶东渡日本“转风试探”。
不久，日本军部的使者铃木贞一与蒋介石在九江见面。实际上日本军部早在1月上旬就探讨了中国的局势，陆相宇垣一成认为：日本陆军应促使中国南北两派“净化、稳健化”，从而使他们实现“浑然一体”，为防止共产主义波及中国和维护日本在华权益，“设法促使蒋介石叛离共产派乃当前的紧急任务”，宇垣将这一“特殊命令”交给了铃木贞一。铃木贞一奉命后，先到汉口找到老朋友黄郛。此时，蒋介石正好在南京。他和黄郛商量后，又和蒋的参谋长张群取得联系。随后张群通知铃木到九江去和蒋见面。几天后，他在九江和蒋见了面。蒋给铃木看了他写的《建国方略》一书，他的结论是：“为了保全东亚，中日两国的合作是必要的。”最后，他告诉铃木：“我打算用三民主义统一中国，你就放心吧!我到南京就正式表明态度，你等着瞧吧。”另外，蒋介石派戴季陶到东京，会晤了日本外务次官出渊胜次，迫不及待地表明蒋的立场。
币原外相由此判断：蒋介石虽是“口头上的过激派，行动上的稳健派”，但如果共产党人走得太远，这位寡言的将军是会干预的。随后，币原向内阁提议：日本应拉住反共的蒋介石，让他去压制****。日本内阁和军部的意见完全一致，他们确定了“怂蒋反共”的方针。
蒋介石在暗中联络日本的同时，通过多条渠道与美国接洽。1月26日，事先征得蒋介石同意的王正廷与美国驻沪总领事高思举行了秘密会谈，双方皆愿今后经常保持联系，互通情况。王正廷告诉美方：国民政府的控制权并未完全落入极左派手中，国民党不是布尔什维克，“温和派”殷切希望汉口事件（国民政府夺回租界）不在上海重演，国民党军可以不进驻上海，以免同外国军队发生冲突。王正廷还透露，正设法收买上海的军阀，上海可能不战而易手，届时将成立一个委员会实行统治。必要时，用警察和某些“志愿人员”来“维持秩序”。通过这次密谈，王正廷把革命营垒内部的矛盾状况和蒋介石集团的反共计划向美国亮了底牌。美国政府极为欣喜，虽然明知国民政府不准蒋介石同外国交涉，仍下令将上海租界中立照会正本分交蒋介石、张作霖二人，以示赏识和器重，只将抄本送陈友仁。
2月6日，美国的驻华使者向蒋介石委任的武汉行营参谋长朱绍良递交了这份照会，朱当场保证将此信息立即电告蒋介石。外交部长陈雄伟一接到照会抄本后，严厉谴责美国当局直接同蒋联系。国民政府拒绝支持上海租界中立，并命令蒋介石制止王正廷的非法活动。蒋借故推诿，拒不执行。朱绍良经国民政府追查，不得不将照会正本转呈外交部，但旋即于2月7日晚赶赴南昌向蒋介石汇报。蒋冷静地思考了一番，因为形势复杂，故暂不作表态。
2月16日，美国驻广州总领事电告国务院，英国人于15日向他递送情报说：蒋介石与鲍罗廷之间的迁都之争已经掩盖了一段时间，大概这是两人间“永久性的不和”。“如果列强要把俄国人赶出中国，他们应当现在就同蒋将军建立直接的联系。”情报强调：“蒋恨俄国人，只是因为苏维埃政府给他提供武器弹药，他才勉强与鲍罗廷合作。”“如果英国和其他列强愿做俄国人正在干的事情，蒋将军将立即同鲍罗廷决裂并制止其反对帝国主义、反对资本主义的暴力活动。”
3月初，蒋介石又通过他的美国朋友诺曼，向美国官方作了与2月16日电文相同的表示。美国驻华南各地外交代表和马慕瑞公使也纷纷向美政府报告革命阵营内部矛盾激化情况和蒋介石的反共动向，提醒美政府注意正在酝酿中的政变。蒋介石在联络帝国主义初获成功之后，于3月7日在南昌总部发表演讲，他不仅将抨击矛头直指鲍罗廷，而且还为自己私下联络日美的行动进行辩解。日本帝国主义对蒋介石3月7日演讲的弦外之音自然心领神会。日本人的上海日报亦大字登载17日九江电：“南昌派高唱亲日政策，否认全体会议之议决，决定解雇鲍罗廷。”大作宣扬，混淆视听。在蒋介石同美、英、日国家暗地勾结的过程中发生了“南京事件”，极大地影响了双方合作协商的进行，但蒋介石的对此事情的解决，却又促成了他与美、日、英等国的进一步亲近。
1927年3月21日，上海工人阶级举行了第三次武装起义，占领了上海，对帝国主义的在华统治造成相当大的威胁。3月23日，北伐军攻占了南京。在江右军总指挥程潜入城前秩序未定之际，一些仇视外国人的北伐军士兵袭击外人，地痞、土匪，乘机抢劫，弄得全城恐惶，并殃及外侨。英美帝国主义即借口保护侨民安全，于24日下午3时左右下令停泊在下关江面的军舰向城内大举炮轰，死伤千余人，制造了南京惨案。惨案发生时，各帝国主义集结在上海的军队，连同所谓“万国商团”和巡捕等已达2。3万多人，集结在上海南京一带江面的各帝国主义军舰共达90多艘，准备大动干戈。
蒋介石于3月25日自芜湖乘舰抵达南京江岸，闻得此讯后，于下午4时在舰上召见江右军总指挥程潜面授机宜后，即驶向上海。下午2时左右，蒋之心腹杨虎代表蒋对日本官员说：此次事件实为遗憾。这决非党军领导人之意，而是军队内部不良分子和南京共产党支部成员共同策划蓄意制造的。无论如何请你们宽恕。对(共产党)党支部，已经下令解散。善后措施愿以诚意交涉。请日本方面无论如何以宽大态度处理这一事件。
蒋介石到达上海后，于3月28日派黄郛秘告日本驻沪总领事矢田七太郎：南京事件是共产党为了打倒蒋介石一派而制造的苦肉计。同日，蒋介石派员往英美法日意驻沪总领事馆，就南京事件表示“遗憾”。同时，蒋对外籍新闻记者发表谈话，谈到对于南京事件，已经派员调查，任何官兵凡经证实犯有暴行者，当于严惩。同日，英美日驻华公使协议向本国政府建议，向蒋介石提出要求迅速解决“宁案”的通牒草案。他们企图利用所谓“共产党人策划蓄意制造南京事件”之说，对蒋介石施加压力，逼迫其接受“惩凶”、“制止骚乱”等条件，加速反共。
究竟谁对南京事件负有实际责任，这个问题在外国帝国主义看来是非常重要的。因为这将决定着他们将对中国采取怎样的措施和对中国各派别的力量支持发生变化，尤其是他们迫切要知道蒋介石在此事的发生过程中起了怎样的作用，并进而决定他们对蒋介石的下一步外交政策。所有“受害”帝国主义都有抱着这种思想逻辑向蒋介石施加压力的，其中美国的态度坚决最激进，相比之下，日本则对蒋介石表示了相当的信任。
南京事件发生后，各派力量都感到事出意外。蒋介石方面在惊惶失措之中采取一些弥补过错的措施，以示歉意和合作的诚意。程潜在事发的当天下午就在部队中申饬军纪，并在3月25日公开声明了此次抢劫和焚烧行为是城内反革命分子所为，以示自己清白，而另外一些国民党头目却缺乏事实根据地向日本领事报告说，士兵们受到了南京城内共产党的煽动。这样一种诬陷无论对于各国帝国主义，还是对于决定要反革命的国民党右派来说都是最为容易接受的说法，所以，无论是在中国的西方外交官还是国民党内的蒋介石都很快采取了这种说法，并作为一种事实加以宣传。最终，由于各国侨民遭受生命财产损失引起的极度仇恨全被巧妙地转移到共产党和共产党领导的工农群众身上。这样，“南京事件”引发的种种矛盾在并没有得到解决的情况下，却出现了异常平静的现象，可以断定他们是在等待蒋介石的态度，看样子，蒋介石正欲有所行动了。
事实上，此时此刻，摆在蒋介石面前的路很窄，要么与这些外国人成敌，要么为友。而无论是英国、美国和日本也都迅速将蒋介石的策略诉诸于两个简单的选择，要么将其拿下，要么蒋必须将功补过。3月30日，日本使者矢田奉东京训令会晤蒋介石，指出：南京事件以来，外国人的神经越来越过敏，英美法都在谋划对中国增兵。当前确是重要时刻，弥漫着某些小小事端惹起大事件的危险。因此，你对维持上海治安必须予以特别深切的考虑。蒋介石当然领会日方暗示他反共，当即回答：“我充分谅察尊意，定当严加取缔。”币原喜重郎闻知蒋做出肯定反应，决定敦促蒋尽快采取行动镇压共产党人。4月1日，他向矢田发出新训令，要他全文转知蒋介石。当晚，矢田邀黄郛到寓所，举行秘密谈判，矢田转述了外相训令的内容。黄郛记下了币原的训令，并向矢田表示：对外相的警告，我们“定当慎重处理”。黄郛随即把蒋介石准备发动政变的预谋告知矢田，称：“蒋介石本人的诚意无可怀疑”，他已将“火速解决南京事件”和“解除上海工人武装”列为“需要断然采取行动的紧急任务”。不过，解除工人武装的“时间和做法”还需要注意抉择。如果匆促断然行动，将引起工人同军队冲突，也会促使总工会实行总罢工，刚平静下来的上海又将陷入不安，而让蒋蒙受维持治安乏力的责难。黄郛指出，当前我们还存在“实施能力”和“担心汉口共产党的攻击”两个问题有待解决。
黄郛还向日本领事馆提出希望列强给蒋以支持的要求：第一，各国政府关于南京事件的第一次正式抗议照会向武汉政府外交部长陈友仁提出；第二，各国军舰集结汉口，对武汉政府施加“某种武力威胁”。
蒋介石终究还是有所“诚意”表示的。蒋介石于4月2日召开了“中国国民党中央监察委员会议”。会议决定检举各地共产党“危险分子”，就近由军警加以“看管监视”。当晚，蒋介石派黄郛亲自到矢田处，转告他对日本政府的答复：“蒋介石充分谅解日本政府的苦衷和善意，并衷心感谢。”并对“整顿国民政府内部已下决心”。现正召集将领仔细开讨中。一旦准备就绪，将立即断然采取行动，“其时间在四、五天之内”。受美日政府的态度影响，特别在日本外相币原喜重郎的斡旋下，美国也不再坚持要求对蒋实行制裁。4月9日，日美英法意五国公使达成协议：抗议照会不加时限，不提制裁，锋芒指向对“南京暴行”应负责任的“中外势力”。所谓“中外势力”显然是指****和苏联。蒋介石的一番苦心讨好终于赢得了外国主子的一致欢心。南京事件加速了蒋介石集团与帝国主义合流。蒋介石反共的政治态度及其在外交政策上的重大转变无疑影响了帝国主义的对华政策；而帝国主义对华的软硬两手政策则推动并加速了蒋介石集团走上反共“清党”的道路。
第四件事就是获得帮会的拥护。旧中国帮会的势力相当强大，社会基础非常牢固，在一定的地区甚至有左右政权的力量。这一点毋庸赘言。
上海帮会组织主要是由青帮和洪帮组成的。青帮原本是船帮，为清代漕运水手互相团结，维护职业、传授技艺的民间结社。19世纪70年代，因漕运废除，运河两岸的水手、船工失去职业，便大规模流入他们在漕运时期经常过往的、经济繁华的上海，青帮也随之在上海繁衍。洪帮原为“反清复明”的秘密结社，19世纪80年代，该帮龙头江彭山在上海创设飞龙山，广招门徒，发展组织。其后，各地独立的洪门山头亦相继到沪扩大组织。流入上海的青帮和洪帮成员，大部分找不到固定职业。为了生存，不得不加入上海职业流氓和乞丐队伍，从事盗窃、绑票、贩卖人口、勒索、走私等罪恶勾当。他们的帮会组织也逐渐与上海的流氓势力互相融合形成流氓帮会组织。
19世纪末20世纪初，上海帮会组织迅速发展，其主要原因是上海法租界当局对帮会的支持。19世纪90年代，法租界当局为了维护租界秩序，实施“以毒攻毒”政策，把黄金荣等流氓帮会势力引进法租界巡捕房，企图采取以贼捉贼的手法，利用帮会势力治理社会治安。黄金荣等入巡捕房后，制服了一些小流氓，破了一些案件，得到了法租界当局的赏识而平步青云，由包探、探目督察员直至提升为警长、督察长。与此同时，黄金荣等在法租界当局的支持下，操纵鸦片烟押运，经营赌场、妓院，大发横财。20世纪初，法租界当局为了从烟赌业获得税收，准许黄金荣等在法租界内烟土公卖。于是，黄金荣便与青帮头目张啸林、杜月笙等创建了上海最大的鸦片经销机构——三鑫公司，垄断了上海的鸦片押运和经销业务，获得了巨额的利润。从此，黄金荣、杜月笙、张啸林便成为了上海有名的暴发户。他们一面扩展鸦片的经营事业，一面运用巨款扩充流氓队伍，兼并上海其他流氓团伙。乃至20世纪20年代，上海帮会已形成拥有万千徒众，几乎无处不在、无所不能的封建流氓团体。他们分段为霸，划地为王。其中，黄、张、杜三亨的势力最雄厚，成为上海帮会势力的代表。
上海帮会势力的主要活动是施展黑社会手段，聚敛财富。政治上并无一贯的立场，但这并不意味着他们在政治方面毫无所图。要在华界站稳脚跟、获取利益，帮会组织必须结交军阀政府。而军阀政府欲霸占地盘，插足租界，尤其要走私烟土、牟取暴利，亦须借助帮会势力。因此，上海帮会势力与历届北洋政府均有勾结。如黎元洪任总统时，曾聘黄金荣为陆军步兵上校、待从副官，“五省联军司令”孙传芳曾委任张啸林、杜月笙为高级参议。而上海帮会与国民党也有着某种渊源关系，孙中山进行革命时，为筹措经费组织起义，曾在相当长的一段时间内与帮会建立了一定的联系。如护法斗争中，黄金荣等人曾慷慨解囊，为军政府提供饷谞，辛亥革命光复上海，杜月笙等曾参加过攻打高昌庙火药库的斗争。不过，上海帮会与国民党的关系始终若即若离。辛亥革命后，各地国民党政权对那些从事违法活动的帮会组织予以严禁和镇压。
蒋介石与上海青帮是有着历史的渊源的。早在1908年，蒋经陈其美介绍与帮会取得了联系。辛亥革命期间，蒋奉陈其美之命组织“先锋敢死队”参加光复杭州之役，这支武装就是以帮会人物为骨干组成的。二次革命失败后，蒋介石伙同张静江、陈果夫、戴季陶等在上海恒泰证券物品交易所做投机生意时，虞洽卿介绍他投拜黄金荣门下为门生。1926年夏，蒋介石任北伐军总司令，黄金荣把蒋介石投递门生贴子悄悄送还，不以师父自居，给蒋介石以足够的面子，使蒋黄之间始终保持密切关系，彼此利用。
蒋介石深知上海帮会有着广泛的社会基础，控制着社会下层的大批群众，神通广大，无所不能。并拥有巨额资财，黄、杜、张成立的三鑫公司垄断了全国的毒品贸易，年赢利达5600～６000万元，更重要一点是上海帮会有租界当局的支持，这些对急欲夺权和巩固统治的蒋介石集团来说无疑非常重要。
1927年2月份，蒋介石委任了上海四个帮会首领为驻沪特派员，其目的即在勾结青红帮做反共的打手。利用帮会进行反共，蒋介石早在赣州、安庆已经尝试。3月，蒋介石指使倪弼枪杀了赣州总工会委员长，共产党员陈瓒贤。随后亲抵九江，用六十万收买青帮流派，派遣北伐总司令部特务员处长，帮会骨干杨虎联络青红帮捣毁九江、安庆等地左派和****主持的党部和工会。
蒋介石于3月19日自九江抵达安庆，一手策划了三·二三事件。安庆城内当时有四个总工会：一个由安徽省党部组织成立，由****主持；两个由省党部的总工会合并；剩下的一个为鲁班阁伪总工会，完全由土豪劣绅用重价收买反共地痞组成。
21日，安徽省党部第一次全省代表开会前，国民革命军总政治部副主任郭沫若根据党部的命令宣布解散反共的鲁班阁总工会，鲁班阁总工会拒绝接受郭沫若的命令，他们借口说奉了蒋总司令的命令组织的工会，并于当日下午派代表至总司令行营前向蒋介石请愿，蒋介石说他们受了压迫，一定会秉公办理的。言下之意，对他们的非法行为表示支持。
22日晚，安庆五个反共团体——安徽省农民协会、安徽省总工会(鲁班阁)、安徽省商民协会、安徽省****会、安徽省妇女协会以筹备处名义，发出请单，定23日上午9时假“白日青天”开市民欢迎大会。欢迎蒋介石的市民大会已经在20号举行过，现在要再次举行，这暗示不承认20日召集的市民大会为合法。
郭沫若预计反动团体定会有一番大规模的暴动，便派人出去调查。据第三十三军政治部报告，得知反动团体组织了一百人的敢死队，是出钱买来的地痞，每人四元，并且还有一种奖赏，即负轻伤者一百元，负重伤者五百元，丧命者一千五百元。郭沫若便派人出去通知市党部及各种合法的民众团体先做准备。在事件发生之前，郭沫若了解到反动团体雇用青红帮打手闹事后，一方面通知同志事先准备，一方面亲自跑去见蒋介石。
在总司令部，他未见到蒋介石，但通过与一位电报局长交谈，却意外地了解到：在安庆事件发生前三个星期，反共分子分子分子分子“便把各种行帮的工头买贿了”，并早已与九江、安庆、芜湖、南京、上海一带的青红帮的“老头子联络好了”，他们“要走一路打一路，专门打倒****分子。”郭还从交通处长陆福庭处了解到，赣州、南昌、九江、安庆事件都是出于蒋介石的指使。但事情终于还是没有阻止得了，结果，蒋介石很快控制了所有的交通机关、电信、邮局，擅行委任了一批28名的政务委员，大多为军阀、安福系、西山会议派的余孽，流氓痞棍的头目。
安庆事件之后，蒋介石又派杨虎联络上海的帮会势力。杨虎到上海后，立即联络帮会头子黄金荣、杜月笙、张啸林等，动员帮会参加反共。当杨找到杜月笙商议联合“剿共”的时候，杜月笙认为：“机不可失，参加反共将来在政治上才有地位。”杜还提出共产党胜利了决不会对他们有好处，只会是和国民党同归于尽；于其这样，不如全力与国民党合作反共，使国民党取胜，才有前途。遂决心跟蒋介石合作，充当爪牙。蒋介石还采纳了杨虎的建议，盗用辛亥革命时期“国民共进会”的名义，令黄金荣、杜月笙、张啸林等组“中华共进会”。通过这一筹组活动，他们迅速成立了一支人数众多的帮会势力武装，成为进攻上海纠察队的主力骨干、“急先锋”，只要蒋介石一声令下，这些地痞流氓、鸡鸣狗盗之徒便会倾巢而出，助蒋清共。
最后一件事就是军事力量的巩固。国民革命军第一军虽说是蒋介石的嫡系，但是构成其主体中坚的黄埔教官和学生对于反共一事还没有达成共识，而且其中很多人还是****党员和国民党左派。因此，必须联合一直可靠的军事力量。当时的桂系诸人都是坚决反共的，犹以白崇禧最为坚决。到上海后，蒋介石一面同李宗仁、白崇禧共同策划清党事宜，一面急电两广的黄绍竑、李济深共同行动。李宗仁还将号称北伐“钢军”的第七军主力调到南京、上海附近，监视有左倾色彩的第一军第一师及第六军等部。有了桂系的支持，蒋介石对清党更具信心了。