1912年1月，中华民国临时政府在南京成立，蔡元培被任命为首届教育总长（即部长）。当了大官，许多身穿笔挺礼服的人纷纷前来拜访、道贺。正当这些人准备进门时，只见蔡元培身穿短袄，双手沾满肥皂泡沫，一边擦抹，一边急步迎出来，连说：“没关系，有劳诸位了，请里边坐。我闲着没事，就旧事重做，随便洗洗衣服。”来宾都觉得不好意思，窘状满面，蔡元培却满不在乎。
教育部刚刚成立的时候，连办公的地方都没有，而且加上蔡元培，统共才有3个人。为找寻办公地点，蔡元培穿大街，过小巷，最后总算找到了三间房子。接收下来的档案材料，也都是他亲自雇车运到教育部的。甚至教育部的大印，都是他亲自跑到孙中山的大总统府领回来的。后来，教育部由南京迁到北京铁匠胡同，人员扩大，加上具体办事人员在内，也只有30多人。而其他各部，有的达100多人。部里每月全部开支只有千元，从总长到文书，不分等级，大伙拿一样多的薪水，每人每月30元。但是，从每天上午9时到下午4时半，大家在蔡元培的领导下，分工办事，工作效率非常高。在这些工作人员中，就有著名文学家、也是蔡元培同乡的鲁迅，主管科学、美术馆、博物院、图书馆、音乐会、演艺会等方面的工作。鲁迅与蔡元培之间的深厚友谊，就是从这个时候开始的。此外，还有著名历史学家夏曾佑，著名人士蒋维乔、许寿棠、王云五等，都是蔡元培亲自请来的干练之才。
蔡元培本人工作更是勤勤恳恳，兢兢业业，没有丝毫懈怠。以后中华民国历届政府所颁行的各种学制、课程设置、管理规程等法案，大都是这一时期草就的。这种快捷的办事效率，与清末学部机构重叠、冗员众多、办事拖沓的状况形成鲜明对照。在近代中国，没有哪一位主管中央教育部门的最高官员，像蔡元培那样，在那么短的时间里（前后只有半年）办了那么多有益于中国教育事业进步的大事。蔡元培既雷厉风行又深入细致的工作作风和革命精神，为全面推行新式教育奠定了良好的基础。他在以后的长期教育实践中，不断加以补充、改进、完善，因而建立了中国近代资产阶级的教育体系，为发展我国教育事业作出了卓越贡献。
蔡元培本来就非常注意自己的道德修养，现在做了中国教育界的最高官员，觉得自己更应该为全国的老师、学生做表率，于是他对自己的要求也就更加严格了。在蔡元培的书房中，挂着一幅他本人的画像，上面写着：“其为人也，发愤忘食，乐以忘忧，不知老之将至。”书桌旁还摆放着他书写的六字条幅：“学不厌，教不倦。”这可以说正是他的人格写照。在实际生活中，他不乘轿子，不坐人力车，同朋友们组织“进德会”，主动以道德修养相约束，几乎没有一天不读书、不写作，周围的人对他都非常佩服。特别是他发起组织的“进德会”，一成立便列出各种道德规范，供参加者参考选择，从中可以看出蔡元培对自己的要求是非常严格的。这些规范包括：不赌博，不受贿，不送礼，不迷信，不随地吐痰，不乱扔污物，不骂人，不喧闹，不粗暴，不早婚，不歧视妇女，不多生小孩，不轻视普通人，等等。当时有人在报纸上评价蔡元培等人的举动说：“此举似微，然于个人之精神、社会之风气，关系甚大，果能鼓吹实行，可一扫从前政界之恶习。”
在这一时期，蔡元培还形成了独具特色的教育思想。就任教育总长之后，他发表了《对于新教育之意见》，为新式教育方针的制订奠定了基础。尔后，他又发起召开全国临时教育会议，进一部充实自己的教育思想。蔡元培总结中国传统文化的精华，采撷西方文明的优点，融合哲学、科学、美学于一体，从而使他的教育思想具有鲜明的时代精神与科学价值，迥然不同于封建时代的旧思想。他主张废除忠君尊孔的封建教育，认为“忠君与共和政体不合，尊孔与信仰自由相违”，并且停止祀孔，废除读经，代之以军国民主义和实利主义相结合、以公民道德教育为支柱的新式教育。为此，他还提出，必须使公民具备一种正确的世界观与人生观。而这种正确的世界观与人生观，又建立在美感教育的基础上。什么是美感呢？美感是美丽与尊严的统一，是从现象世界步入实体世界的桥梁，是使人的精神升华的动力。他举例说，人们看到真正的火山赤舌，大风破舟，就会感到害怕，而在图画中看到此情此景，反而觉得美。美感教育就是要提高人的审美能力，使人们摆脱杂念，进入纯洁、高尚的境界。后来，蔡元培又进一步提出，要德、智、体、美四育并重，全面发展。
蔡元培的教育思想受到守旧势力的强烈批评。有人写文章，说他不祭祀孔子的主张是“祸我国民”，是想把数千年流传的道德学术伦理“拉杂而摧烧之”。但后人却给蔡元培的教育思想与实践以极高评价，认为它是中国教育史上光辉灿烂的第一章，特别是他的美育思想，发聋振聩，是对封建迷信与宗教教育的有力一击。