1916年6月，窃国大盗袁世凯在全国人民的唾骂声中一命呜乎。许多人给蔡元培打电报，希望他回国。蔡元培回电表示：回国可以，但不愿做官。这时，著名学者马叙伦等北京大学教授推荐他做北京大学校长，黎元洪政府的教育总长范源濂也发来正式邀请电。正在他考虑是否接受这一职务的时候，来了一批朋友，发表许多看法。有的说，北京大学太腐败，进去后若不能治理好，对自己的名声有害处，还是不去为妙。但也有人说，既然知道它腐败，就更应该回去整顿，即使失败，也算尽了责任。蔡元培本来就有教育救国的信念，对兴办高等教育又一向兴趣浓厚，于是，便接受朋友中的后一种意见，并得到孙中山支持，与吴玉章一道，于10月2日由法国马赛乘轮船启程回国，走马上任北京大学校长。
说北京大学腐败，真是一点不假。那时，穷人家的孩子大都上不起学，北京大学的学生多半是官僚子弟，一心想升官发财，没有半点钻研学问的兴趣。平时，学生们抽大烟，搓麻将，逛戏园，抄讲义，几乎无所不为。只要是能够让他们当官的老师，不管有没有学问，他们都欢迎。反之，则起哄闹事，以赶跑老师为快。这些老爷学生上学还都带着佣人。上课铃响后，佣人便过来说一声：“请老爷上课。”老师也都是些没有学问的官僚。所以，当时人说北京大学是“官僚养成所”。
面对这样一个烂摊子，蔡元培从1917年1月4日上任第一天，就开始进行整顿。那天，学校的工人们排队在校门口，恭恭敬敬地向他行礼，他一反以前历任校长目中无人、不予理睬的惯例，摘下自己头上的礼帽，郑重其事地向工人们回鞠了一个躬，使在场的人大吃一惊。不久，他发表演讲，明确对师生们指出：大学是“研究高深学问”的场所，学生“当以研究学术为天职，不当以大学为升官发财之阶梯”。他勉励学生要做到三件事：一要为求学抱定宗旨，二要在行为上砥励德行，三要敬爱师友。总之，希望学生们转变一心当官的旧观念，确立研究学术的新观念。学生毕业时，他送每人一把铜尺，上面刻“各勉日新志，共证岁寒心”10字，以表示他的期望。
蔡元培的就职演说，是他整顿北京大学校风教纪、改造旧北大为新北大的宣言书。尔后，他便真刀真枪地干了起来。
大学能正常运转，教师是关键。蔡元培在抓紧学生教育的同时，也抓紧教师队伍建设。那时，北京大学的教师中有许多不合格，蔡元培毫不客气，全部辞退。有个法国教员，被辞退后不服气，要控告他，他不予理会。还有3个英国教员，被解聘后请英国公使朱尔典来说情，结果碰了一鼻子灰。朱尔典离开后，恼羞成怒，就威胁说：“看来蔡元培是不想当北大校长了。”蔡元培一笑置之，根本就不放在心上。随后，其中一个叫克德莱的英国教师还不甘心，提出上诉，英国公使也通过外交途径向北京政府的外交总长伍廷芳施加压力。伍廷芳给蔡元培写信，劝他向外国人低头。蔡元培回了一封信，不客气地对这位外交部长说：本校辞退教员全是照规矩办事，丝毫没有什么不妥；要是克德莱想打官司，那就悉听尊便。结果不但没给外交部长面子，而且还连续辞退好几个走后门进来的不合格外国教员。
对那些有崇洋媚外心理的教师，蔡元培也不客气地给以批评。当时，有些中国教员上课时不说中国话，却只说外国话。蔡元培明确规定，除了外语课，其他课程的教学一律使用中国话。
那么，该让什么人来大学任教呢？蔡元培在北京走访了一些朋友，有人向他推荐陈独秀做文科学长。他听后精神为之一振：陈独秀，不就是经办《新青年》杂志的那位鼎鼎有名的新文化运动领导人吗？他立刻跑到前门外一家旅馆，找到陈独秀，与他商定做文科学长。此时，蔡元培到北大还不足10天。接着，文科方面，他请了李大钊、鲁迅、胡适、钱玄同、刘半农、沈君默、周作人等一大批思想先进的著名学者，李大钊并任图书馆馆长。理科方面也聘请到一批有真工夫的科学家，其中有李四光、丁巽甫、王抚工、颜任光、李书华等。法科教员则有马寅初、陶孟和、高一涵，周鲠生、陈启修等知名学者。这些人聚在一起，可真是不得了，北京大学一下子成为新文化运动的摇篮和五四爱国运动的发源地，成为带动全国的思想中心。蔡元培则被誉为新文化革命的开国元勋，近代中国思想界首屈一指的卫兵与保姆。
不过，对那些思想很旧但挺有学问的人，蔡元培也并不排斥，而是同样网罗到学校里来。这就是常常被后人所称赞的“思想自由，兼容并包”主义。他认为大学是“囊括大典，网罗众家”的学府：“无论为何种学派，倘其言之成理，持之有故，尚不达自然淘汰之运命者，虽彼此相反，而悉听其自由发展。”这就叫“万物并育而不相害，道并行而不相悖。”因此，他对教师只问学问能力，不问资格年龄，也不过问个人信仰。从复辟党到共产党都可容纳；从国学到西学，一律注重。但是，老师们必须遵守学校的规章制度，不允许把与学校制度相违反的个人信仰向学生灌输。人们称赞他“具有容纳异己的雅量，尊重学术思想自由的卓见，在习于专制、好同恶异的东方人中，十属罕见。”表面上看，他的做法似乎是在搞无原则的调和，实际上，是对新兴但还幼小的革命势力的一种最可行、最有实效的保护策略。
蔡元培不是一位无可无不可的老好人。“兼容并包”并不是什么都“容”，什么都“包”，并不是无主张的杂凑。他不允许在大学里尊孔祀孔，不允许设置经学科目，不允许开设宗教课。当时，北京大学里有两位老顽固，一位叫辜鸿铭，英文水平很高，但主张效忠清室、尊王尊孔，到民国时还留着小辫子；另一位叫刘师培，是年轻的国学大师，学问很大，但在历史上有不少污点，曾经叛变革命，拥护袁世凯复辟帝制。因为两人与时代潮流格格不入，所以进步的学生很反感他们。有学生就问蔡元培，为什么要请这种守旧的老顽固做教授？蔡元培回答说：我只希望你们学习辜鸿铭先生的英文和刘师培先生的国学，“并不要你们也拥护复辟或君主立宪”。此外像文史学家黄季刚、陈汉章、崔适等人，思想都比较保守，但是有学问，蔡元培全都予以留任。从这里可以看出，只要有一技之长，蔡元培就任用，并不因那人有缺点、有污点就否定那人的长处。这种风范，就是中国古人说的美德：“爱而知其丑，憎而知其美。”正因如此，有人说蔡元培能在“无所不包”之中“有所不为”，以达到“有所为”的目的，说他不因宽容大量而不趋新，于人无所不容而自身却具有定力。还有人称赞他能在许许多多凳子的夹缝中坐稳坐牢，并且表演自如，具有非同凡响的领导才能和领导艺术。