主持中央教育院，是蔡元培继北京大学校长之后，在中国现代教育与科学事业史上的又一盛举。
设立中央研究院的倡议，是孙中山最早提出来的。它是国家的最高学术研究机关，聚集了一大批中国最优秀的自然科学与人文社会科学方面的人才，是国家科学文化水平高低的象征。1929年，蔡元培辞去国民政府一切职务，专任中央研究院院长，使该院成为他推行科学救国理想的基地和晚年事业的中心。他像一位勇敢坚毅的拓荒者，将汗水和心血抛洒在中国现代科学的荒原上，取得了在当时条件下能够取得的最高成就，为我国科学研究事业奠定了基础。
蔡元培为什么要担任中央研究院院长的职务呢？原来，蔡元培一生都在不遗余力地提倡教育和科学。他认为教育是立国的根本，科学是一切事业的基础。近代西方国家所以繁荣强盛，就是由于学术人才辈出，科学昌明发达。德国有克虏伯，使本国的军械甲于天下；法国有巴斯德，能使本国酿酒、造丝、畜牧等事业特别稳固发达；美国有爱迪生，能为美国开辟无数利源。我们正需要这样的发明家。他希望通过中央研究院这样的机构，为祖国的繁荣富强作出贡献，为祖国培养出世界级的科学家。从蔡元培自己的志趣来说，他觉得自己最喜欢的就是读书、研究学问。他曾经说：“我是一个比较的还可以研究学问的人，我的兴趣也完全在这方面。自从任了半官式的国立大学校长以后，不知一天要见多少不愿意见的人，说多少不愿意说的话，看多少不愿意看的信，想腾出一两点钟看看书，竟作不到了，实在苦痛极了！”所以，尽管他从事的依然是行政工作，但是能在中央研究院这样一个国家最高学术机关任职，他觉得符合自己的脾气禀性。
基于上述认识，蔡元培在经费非常不足的艰难条件下，筚路蓝缕，艰苦创业，终于使中央研究院于1928年6月9日在上海正式成立。尔后，他将全部心血倾注在研究院的发展上面，直到逝世为止，共担任13年院长。
研究院成立后，在南京设立了总办事处，同时在上海也设立办事处。由于蔡元培与蒋介石政权有矛盾，住在南京感觉别扭，所以常年在上海办公。到1930年初，中央研究院先后成立了物理、化学、工程、地质、天文、气象、心理、动植物、历史语言、社会科学等十个研究所和一个自然历史博物馆，网罗到一大批全国最优秀的专家学者，他们当中包括著名的科学家李四光、翁文灏（hào）、竺可桢、丁西林，著名学者傅斯年、陈寅恪、赵元任、李济、陈垣、刘半农、徐中舒、罗常培、杨端六、蒋廷黼（fú）、王云五、陈翰笙、陶孟和、何廉等等，还有些外国专家，真是人才济济，荟萃一堂。有了这些人，研究院的科研工作便开展起来了，并取得丰硕成果。
例如，历史语言研究所（简称史语所）在河南安阳发掘殷墟，发现大量殷商时代的青铜器和甲骨卜辞，取得了震惊世界考古学界的重大成果。这是中国人运用现代科学方法进行的第一次大规模地下发掘，标志着中国近代考古科学的诞生。地质研究所的科学家李四光，在长江下游庐山等地找到第四纪冰川流行的证据，发表了《冰期的庐山》这一科学名著，获得国内外很高评价。此外，天文研究所建造了著名的南京紫金山天文台，社会科学研究所开展了有重大现实意义的农村经济调查，等等。这些研究成果基本上改变了长期以来我们国家单纯跟着西方科学成就后面跑的可悲局面，使我国近代科学事业第一次出现相对繁荣的局面，这在旧中国的恶劣环境下，实在了不起。
中央研究院实行学术自由和民主管理，具有良好的学术空气。这与蔡元培知人善任、选贤择能、宽容大度的作风是分不开的。院里还有马克思主义者和共产党员。共产党员陈翰笙后来回忆说：“我们这些地下工作人员，在白色恐怖下，如果没有蔡先生的掩护，我们的工作是无法进行的。”
蔡元培主持中央研究院，还十分注意维护国家主权，抵制帝国主义的文化侵略。这本来就是设立中央研究院的一个重要目的，即“杜外人之觊（jì）觎（yù）”。中央研究院设立前，外国人可以在中国各地借“考察”的名义随意出没，得到的标本统统运到外国。有了中央研究院，就逐步对外国人这种无理行径加以限制和监督。一次，有5个日本人准备在长江一带调查水产动物，不同任何中国部门打招呼，就出发前往四川探查。蔡元培得知此事后，就与外交部联系，请他们与日本人交涉，让日本人讲清楚调查目的和区域，研究院派人参加；调查得来的标本，要先送研究院，由专家审查，认为确实在允许范围内的，才能带走，并要将标本留存中国一份。在事情没搞清楚之前，日本人不能在中国搞什么调查。以后，蔡元培还给交通部写信，让他们取缔外国人在上海设立的无线电台。类似这种维护国家主权、不向外国人低头的爱国举动，从蔡元培那里可以找到许多。
中央研究院短时间内取得的令人瞩目的成就，令蔡元培对祖国科学事业的发展充满信心。他说：“我们民族并不是没有创造力的，如指南针，如印刷术，如火药，我们先人曾有过伟大的贡献。我们只要肯勉力，决不是束手无策，只吃现成的。”他经常以“风雨如晦，鸡鸣不已”这句话来勉励研究院的同事们抓紧时间，增强忧患意识。他虽然没有看到祖国科学繁荣的春天，但他为祖国科学事业作出的开创之功，却越来越显示出不朽的、历久弥新的价值。