1922年7月16日至23日，中国共产党在上海成都路一间房子里召开第二次代表大会。为了节约钱和时间，代表不经各地支部推荐，而以从莫斯科回国的人是哪一省的就作为哪一省的代表。代表有陈独秀、张国焘、李达、蔡和森、高君宇、王尽美、向警予、施存统等十二人，代表全国党员一百九十五人。会前，陈独秀、张国焘、蔡和森组成了《宣言》起草委员会。
李汉俊没有出席会议，他在大会前写了意见书，说他并非根本反对劳动运动，而是因种种缓急而主张先作学生运动；设中央也不要三五委员，只有一人坐在中央。各地方政策不宜相同而应由各地方自己去决定，中央大会是不能定的。他没有参加会议，托振法同志从河南带至大会，蔡和森1926年写《中国共产党史的发展》，说：“仲甫同志当时曾致电叫他，但他始终没有到会。”
陈望道因不满陈独秀，在初夏提出辞去中共上海地方委员会书记一职。5月下旬，陈独秀改组中共上海地方委员会，徐梅坤、沈雁冰和俞秀松当选。大会召开时，陈独秀请人通知陈望道参加，但陈望道拒绝了。李汉俊、陈望道先后提出辞呈后，部分青年指责他们是投机革命。陈望道想，不与陈独秀发生关系，照样可以干革命，干脆提出了退党的要求。
中共二大通过的《宣言》规定了党的最高纲领和最低纲领。最低纲领，即消除内乱，打倒军阀，建设国内和平，推翻国际的帝国主义的压迫，达到中华民族完全独立；最高纲领，即组织无产阶级，用阶级斗争的手段，建立劳农专政的政治，铲除私有财产制度，渐次达到一个共产主义社会。
张国焘在大会前进行小组织活动，引起许多同志不满。小组会讨论时，张国焘一言不发。李达在大会上介绍本组讨论情况时，张国焘首先发言批评。李达质问他：“昨天在小组会讨论时你为什么不提出你的意见，要留到今天才发挥？”张国焘说：“昨天没有仔细想到。”
刘仁静1979年春天回忆说：
当时是有个张国焘的小组织，但只是昙花一现。党的“一大”以后，张国焘回到北京，把和他意见一致的人召集起来开了个会。会议是张国焘主持的，参加会议的有我、罗章龙、邓中夏等人……当时大家听到我们单独开会的消息，大哗，说张国焘搞小组织。李大钊先生也很反对，好像党内有党似的。其实，我们在“一大”以后就是开过一次会议。
因为马林主张加入国民党，中共二大讨论了马林的主张，在通过的《关于“民主的联合战线”的决议案》中特别强调：“我们应该号召全国工人农民在本党旗帜下去加入此种战争……无产阶级在战争中不可忘记了自己的阶级的独立组织。”
大会选举陈独秀、李大钊、蔡和森、张国焘、高君宇为中央执行委员会委员，陈独秀任委员长，蔡和森接替李达任宣传委员，张国焘任组织委员。
李达二大后，因不满陈独秀、张国焘等人，脱离了党。他后来写文章，对陈独秀一直没有好印象：
他本人并不阅读马列主义著作，书架上有一部法文资本论，他从不曾翻看过。他在报纸上写普通的政论是动听的，对于中国革命的理论则不懂，也不研究。《向导》上署他的名字的文章，大都是同志们代写的。他有时忽发异想，说我们到四川去，关着门干社会革命去。因此陈独秀右倾机会主义的特征，在这时已经暴露了出来……他的领袖欲很强，恶霸作风，动辄拍桌子骂人……当时我说：你这个家伙要有了权，一定先杀了人以后，再认错……陈独秀也是我的对头。
8月，中共二大结束后，张太雷到广州调查广东党组织支持陈炯明的问题。陈独秀写了一封信给陈公博，希望他去上海，因为上海盛传陈公博支持陈炯明。陈公博看了陈独秀的信，生气地问张太雷，是什么人在传？有什么证据？张太雷说许多人在传，香港的报纸登过。陈公博说：
至于那张香港报纸是《晨报》，我也见过，附陈者首名是古应芬，而把我排在第六第七名，头一名古应芬就不是附陈，末后更往江门组织大本营讨陈的。我没有做过陈炯明的官，没有拿过陈炯明的钱，陈炯明是红是黑的，我都不清楚……陈仲甫应该知道，刚去上海的谭平山也应该知道，何以两人知而不言，他们不止够不上做朋友，而且够不上做人。至于我要去美国，也早在仲甫在粤时决定，何于赞成与前，而阻挠于动身的俄顷，是不是跟我开玩笑。
第二天，陈公博召开广东共产党支部会议，声明即日起不再负责，脱离一切共产党关系。后中共中央做出决定，开除谭植棠、陈公博党籍，撤销谭平山广东支部书记职务。
蔡和森1926年写《中国共产党史的发展》，说：
陈公博他不赞成陈炯明，虽然反对陈炯明，但实际上帮助了陈炯明，因此中央去信严格责备公博、平山等，这时与陈有关系的等等同志并调回上海，公博反责独秀，不久独秀来俄后，公博等又在广州办《珠江评论》，主张联省自治，胡适之在北京主张作联省自治，独秀在上海反对联省自治……因此中央看见广东党部已变为陈的工具了，所以派人去调查，所得的结果；第一，《珠江评论》是陈炯明出钱办的，第二，陈炯明办劳动局要公博当局长；第三，反对中央对陈炯明的政策，并拟离党而组织广东共产党。中国共产党中央根据这报告即将陈公博、谭植棠开除，马林亦赞成，并在《向导，上公开反对《珠江评论》。
“所以派人去调查”，指派张太雷去调查。