1950年5月9日，法国外交部长罗贝尔·舒曼对新闻界发布了一条爆炸性消息：法国和联邦德国将实现煤钢联营的目标，并在此基础上将联合扩展到其它领域，联合的目的在于消弭战争、维持和平。这就是著名的《舒曼计划》的要旨。该计划不但受到德国还受到意大利、比利时、荷兰和卢森堡4国的欢迎。1951年4月18日，6国在巴黎签署了《建立欧洲煤钢共同体条约》，简称《巴黎条约》。根据条约，成员国将逐步把煤炭与钢铁生产和运营的统筹权力转交给煤钢共同体来行使，并在各国间建立起煤钢共同市场。该条约的签定意味着，成员国已走出传统的国家间合作模式，在超国家联合的道路上迈出了第一步。
1952年9月25日，煤钢共同体宣告正式成立。该共同体的组织机制基本上是按照《舒曼计划》的策划人让·莫内等人的蓝图设置的。莫内和不少创始人均属于联邦主义者，他们相信，只要建立起一套具有超国家性质的机构，并代代相传，联合就可以从一个领域扩展到其它领域，并走向深化，最终建成欧洲联邦。而且他们主张由技术和官员中的精英人物来掌握权力，以便更有效推动联合。根据他们的设计，煤钢共同体建立了一个大权在握的机构——高级机构，这个机构以技术和官员中的精英为主导。该机构拥有煤钢共同体的决策和执行等项主要权力。作为国家利益代表机构的部长理事会的权力是对重要的立法决策进行把关并负责沟通各国与共同体之间的联络，不过该机构后来通过干预高级机构的权力而扩大了自身的作用。该共同体还设有欧洲法院这一司法机关，负责裁决煤钢联营中出现的法律纠纷。
煤钢共同体的代表机构是共同大会，它便是欧洲议会的前身。该机构的设立并非是出自联邦主义者的设想，而是出自部分成员国议员的建议。他门认为有必要设置一个代表机构，以便使国家议会对高级机构实施必要的民主监督。
根据《巴黎条约》，共同大会共设席位78个，席位分配如下：法国、德国、意大利各18席，比利时和荷兰各10席，卢森堡4席。条约对代表产生的方式作了这样的规定：“大会由缔约各方依照各自规定的程序，由其议会每年在其内部指派的或通过直接普选的代表组成。”实际上，大会的代表并未以选举方式产生，而是同1949年成立的欧洲委员会的咨询大会一样由国家议会选派。而且由于共同大会缺少召开全体会议的设施，不得不租赁咨询大会在法国斯特拉斯堡的会议大厅。共同大会与咨询大会有不少相似之处，有的国家议会的议员甚至同时兼任这两个代表机构的代表。
初创时，共同大会在煤钢共同体中的权力十分有限，仅为一个监督机构。《巴黎条约》第20条为它规定的权限是“行使本条约赋予它的监督权”。大会最重要的监督权是可以2／3的多数票通过不信任案弹劾高级机构。不过，在相当长的时间里，大会未动用过此项权力。大会的另一项监督权是向高级机构和部长理事会提出口头和书面质询；对此，高级机构有义务作出答复，而部长理事会则无此义务。显而易见，共同大会在煤钢共同体内仅为一个辅助性机构。
从1952年到1957年，是欧洲议会发展的第一阶段。在这时期，共同大会作为代表机构在煤钢共同体中的权力和作用极小，可以说仅为一个民主的点缀，它被排斥在决策中心之外。尽管如此，它的建立为一个欧洲级的议会奠定了基础。
欧洲议会的第二个阶段以1958年创建两个新的共同体为开端。让·莫内等联邦主义者于1955年提出了建立欧洲原子能共同体的建议。与此同时，德国、比利时、荷兰和卢森堡也提出了全面实现经济一体化的设想。据此，煤钢共同体六国于1955年6月1日至3日在意大利的墨西拿召开了一次重要会议，在会上各成员国同意建立经济和原子能两个新共同体。会议还决定形成以共同大会第一任议长斯巴克为首的特别委员会，起草有关新共同体的条约。斯巴克委员会起草的《建立欧洲经济共同体条约》和《建立欧洲原子能共同体条约》的草案，在经过反复磋商和修改之后，终于为各成员国接受。六国于1957年3月25日签署了这两个条约，由于签署地点在罗马，两个条约被统称为《罗马条约》。
1958年3月30日的共同大会决定改名为欧洲大会。在《罗马条约》生效后，大会的阵容得到了扩大，席位从78增至142席，几乎增加了一倍。其中：法国、联邦德国和意大利均为36席，比利时和荷兰为14席，卢森堡为6席。更多的成员国党派在大会内拥有了席位。
1962年3月30日，欧洲大会决定正式改名为“欧洲议会”。从1958年到1969年的海牙首脑会议，是欧洲议会发展的第二阶段。
欧洲联合的长期目标是完全一体化。但是一体化到底要走多远?要用多长时间?却难以确定。争论比较集中的是联邦主义和邦联主义。联邦主义者认为，为了求得和平与发展，最后应放弃民族国家的形式，建立超国家的权力机构，凡参加这种组织的国家，至少必须让出相当部分的主权。《舒曼计划》的策划人让·莫内便是联邦主义者的一个代表。邦联主义者却认为，各国各有自己的具体情况和具体利益，这些决不会因为让出主权就不复存在，因而反对建立欧洲联邦，主张在主权国家之间进行邦联式的联合。早期创设欧洲共同体的领导人，包括法国的舒曼在内，对联邦主义期望过高，因此事实上很难做到并招致邦联主义者的激烈反对，其中的主要代表人物就是戴高乐。戴高乐在这个问题上有过前后不一的表现。从1944年起，他几次说过要建立一个欧洲联邦。但随着战后美国对西欧控制的加强和联邦德国经济实力的增长，他的态度逐渐明朗，开始反对超国家模式的一体化欧洲联邦，而强调坚持民族独立和国家主权的欧洲邦联。他并不是拒绝一体化，但要求能带来某些好处，而又无损于民族独立和国家主权。他甚至认为，“组成邦联的各国应把一部分主权，特别是在经济、防务和文化领域内的一部分主权，交给共同的邦联权力机构。”正因为这种现实的态度，戴高乐的第五共和国政府继续推动实现1957年共同体罗马条约所规定的、六国建立经济共同体的一体化目标。这是各国都能够接受的、比较现实的看法。
1969年12月的海牙首脑会议带来了这一转机。1969年6月，乔治·蓬皮杜取代戴高乐成为法国总统。4个月后，维利·勃兰特继库特·基辛格之后担任了德国总理。虽然两位新上任的领导人在联合的长远目标方面意见并不一致，勃兰特是联邦欧洲的支持者，而蓬皮杜则不然，但两人均对欧洲联合抱有比前任更加积极的态度。于是，法德联合轴心再度形成，联合动力增加。在法德的倡导下，出席海牙会议的国家元首或政府首脑一致同意在以下几个方面推进联合的发展：第一，以建设欧洲联盟为目标；第二，加强政府间的政治合作；第三，强化欧共体机构；第四，接收新成员国；第五，建立经济与货币联盟。
欧洲议会充分利用了这一契机进行扩权。第二个是1972年3月出台的《关于扩大欧洲议会权力的报告》，此报告建议全面扩大议会的权力，其中包括议会与部长理事会的“共同决策”的权力。以将欧共体的消极决策变为积极决策。
1957年签订的罗马条约的近期目标是建立关税同盟和实现农业一体化；长远的目标则要把经济一体化扩大到所有经济部门，以求“建立欧洲各国间紧密联盟的基础，”这包括：取消一切妨碍各国间劳动力和资本自由流通的关卡；取消一切限制或破坏贸易的措施；确定由共同体的机构管理的内外投资政策；协调社会福利政策并使之合理化。按罗马条约的要求，预计近期目标的实现，把各成员国变成一个共同市场，就要12—15年时间。而远期目标的实现时间，当时尚难预计。