1864年9月28日，圣马丁堂热闹非凡。大厅里挂满了许多国家的国旗。英国的、法国的、德国的、意大利的，还有波兰等国的工人代表，聚集一堂，举行支持波兰人民反对俄国沙皇统治的盛大集会。
英国工人代表首先宣读《呼吁书》，他说：“为了工人大众的事业，各国人民必须团结一致。”法国工人代表接着发表了热情洋溢的答词，他说：“我们要团结起来拯救自己!”坐在主席台上的德国代表马克思，听了他们的讲话，含笑点头，热烈鼓掌，似乎在说：这是创立国际的起点。
为什么要创立“国际”呢?原来，在1848年那年，法国、德国(包括奥地利、普鲁士等许多诸侯国)、意大利、匈牙利等许多欧洲国家，都爆发了声势浩大的革命斗争。由于当时反动势力比较强大，革命起义都遭到血腥镇压，失败了。1852年，普鲁士政府逮捕共产主义者同盟科隆中央委员，许多人被判了刑。从此，侨居英国的马克思、恩格斯，与国内的联系中断，共产主义者同盟自动解散。于是，马克思他们正在酝酿成立新的国际工人组织。这次英国工人联系法国工人支援波兰人民的斗争，正是国际工人运动新发展的重要标志，也是建立新的国际工人组织的良机。
根据各国工人代表的一致要求，大会决定成立“国际工人协会”(后简称“第一国际”)，并且选举了领导机构——中央委员会(后改称“总委员会”)。马克思当选为总委员会委员，担任德国通讯书记。
大会结束以后，由第一国际总委员会领导起草纲领和章程，可是，这项工作却遇到了困难。
原来，这时马克思病了，没能继续出席会议。英国代表起草的纲领，只说要为改善工人的经济地位而斗争；意大利代表则想把意大利工人协会的章程作为第一国际的章程，甚至提出什么要成立一个以意大利人为首的“欧洲工人阶级中央政府”。他们都不提无产阶级夺取政权这一革命的根本问题，所以，弄得总委员会讨论不下去了。
德国代表看到问题这样复杂，马上写信给马克思，要他来参加会议。10月18日，马克思抱病出席了总委员会。经过长时间的激烈争论，于20日决定由马克思负责修改文件。马克思不顾疾病的折磨，日夜不停地工作，终于在七天左右的时间内。写出了第一国际的《成立宣言》和《共同章程》两个文件，于11月1日的总委员会会议上得到一致通过。
马克思在《宣言》中明确写道：“夺取政权已成为工人阶级的伟大使命。”无产阶级只有组织起来，才能战胜貌似强大的资产阶级。
从此，国际工人阶级有了自己的组织，有了自己的行动纲领，革命斗争有了新的发展。在第一国际的有力支持下，1866年英国裁缝工人大罢工，1867年巴黎青铜工人大罢工，1868年日内瓦建筑工人大罢工，都取得了重大胜利。
但是，前进的道路上存在着许多障碍。马克思、恩格斯的科学社会主义理论，是在同形形色色机会主义思想斗争中发展起来的。首先，是同蒲鲁东主义进行斗争。
蒲鲁东是谁?他是近代无政府主义的创始者，法国人。他主张个人绝对自由，不要国家，不要政党。在法国、西班牙、意大利都有他的信徒。1864年秋，他混入第一国际，第二年1月就死了。可是他的信徒，却在第一国际里有一定的势力。
1865年9月，第一国际在召开代表会议。巴黎支部派来了一个庞大的代表团，他们大多是蒲鲁东主义者，妄图霸占和影响整个第一国际。会议一开始，他们首先反对第一国际开展政治斗争，说什么波兰反对沙皇的斗争同各国无产阶级没有关系，不应该把支持波兰起义的问题列入议程，等等。马克思对此进行了针锋相对的反驳，指出：无产阶级必须支持民族解放斗争，才能取得本身的解放。在马克思的努力下，会议通过了支持波兰独立的决议，蒲鲁东主义者先输了一着。
一计不成，又生一计，蒲鲁东主义者又提出一个荒谬的问题。他们说，第一国际是国际工人阶级的组织，应该由体力劳动者参加，不能让脑力劳动者参加。这个提案十分阴险，因为马克思、恩格斯都是知识分子，蒲鲁东主义者准备用不让脑力劳动者参加为借口，把马克思、恩格斯排挤出领导机构，由他们来把持整个第一国际。这一谬论遭到马克思的痛斥。马克思早就指出知识的重要作用，他认为工人的成功因素是人数，但只有在组织起来并为知识所指导时，人数才能起决定胜负的作用。因此马克思郑重地告诚人们，排斥一切知识分子的做法是荒唐的。在全体代表的坚决反对下，蒲鲁东主义者又输了一着。
经过多次失败，蒲鲁东主义者出现了分裂，有一部分人转向正确的立场，马克思主义的力量更壮大了。
1868年19月22日，马克思接到了一封从日内瓦寄来的信。信中写道：“我现在比以前更加理解你是正确的。你选定了一条阳关大道，招呼我们追随你的足迹……我是你的学生，而且我是以此自豪的。”马克思最反对别人恭维他，就马上去看信后面的署名，原来是“米·巴枯宁”。马克思不觉轻轻地笑了笑，因为他早就知道，这个专讲好话的人不是什么好人。
巴枯宁也是一个无政府主义者，19岁起当俄国沙皇的军官。1848年参加过奥地利革命，被捕后三次写信给沙皇，乞求宽怨。以后又跑到英国，隐瞒了这段丑史，混进第一国际。
巴枯宁为什么要写信给马克思呢?原来，这一年10月，巴枯宁背着第一国际，在日内瓦成立了一个“社会主义民主同盟”，宣传“绝对自由”、“阶级平等”、“废除国家”等一套机会主义货色，并到西班牙、法国、意大利去建立支部。他纠集这伙人的目的，是想夺取第一国际领导权。他写信就是为了让他的“同盟”集体加入第一国际。
马克思一眼看穿了他的阴谋。在代表总委员会起草的复信中指出，第一国际内部不能再有一个国际性的组织，严正地拒绝了巴枯宁的要求。巴枯宁接到马克思起草的复信后，马上改变策略，表面上宣告自己的“同盟”解散，暗地里派他的心腹个别加入第一国际。就这样，第一国际里面混进了不少巴枯宁分子。
1869年，第一国际在巴塞尔召开代表大会。巴枯宁分子用恶劣的手段伪造代表证件，妄图夺取多数选票，迫使马克思领导的总委员会辞职，并把总委员会搬到他们控制的日内瓦去。马克思、恩格斯又一次揭穿了他的阴谋，巴枯宁的企图完全失败。
在马克思和恩格斯的领导下，第一国际团结了各国工人阶级队伍，传播了马克思主义的科学社会主义，并且培养了一批优秀的工人运动干部。