但张东荪主持中国公学，并不顺利。他遇到了两方面的困难：一是学生风潮，二是经费短缺。特别是经费不足，使他的宏伟办学计划无法完全实施。
张东荪视职不久，公学便发生了学生风潮，不久即告平息。但经此学生风潮，加上经费较为紧张，张东荪对接办公学的前景一度有点悲观。1921年11月间，公学再度发生风潮，这次比上次严重，并引起了梁启超的密切关注。梁致函张东荪、蒋百里等人，主张勉强办下去，不宜放弃：“公学事现在解决程度未知如何，鄙意谓但使勉强可办得下去，则此校断不宜舍弃。搏沙无论如何总属我辈，有事可以商量，最多再闹风潮一两次，愈闹一次则阻力愈减一分，在吾辈持之以毅而已。”张东荪、舒新城与王敬芳一起，和平解决了公学的风波。
关于这次中国公学风潮解决的情况，据舒新城向梁启超报告说：“校事现将逐渐解决，为首学生已由搏沙令其退学，主事之教职员亦决计辞退，已辞职之八教员，现正设法由学生挽留，虽不能全留，但亦可留一半以上，至城个人本学期不再入学，职务请新同事代理，预定明年2月15日开学，1月1日放寒假，以修理房屋为名，令学生一律出校。城拟于此事解决后，即在外面考察教育、物色人物，在开学前将一切应办之事概行办妥，先期通告学生，告以办法，使其来校有一定规章可遵，能于校内无问题也。”风潮发生后，张东荪有意撤手，梁启超劝他“持之以毅”，加上找不到更合适的人来替代，只好仍负其责。据蒋百里说：“公学与东荪两者都嫌目标太大，此后不能保其无意外，……东荪只能能安一日进行一日，将来南陔归来，必请其先担任商科一部，而后渐移于全部则甚佳矣。”
当风潮平息后，张东荪在很艰难的情况下继续改革教育制度，将公学改造为大学，同时筹办高中，兼顾两方面人才的培养。张东荪自己负责大学部的筹备和改制，1922年春，张君劢自国外回到上海，张东荪因为事务繁忙，便推举张君劢为筹办大学主任。中学部原由舒新城负责，后因舒新城推行的三三制受到公学部分师生的抵制，舒氏被迫辞职。1922年秋，恰值陈筑山从美国学成回到上海，张东荪立即邀请他主持公学高中部。这样，张东荪第一次主持中国公学约有1年多的时间。
由于经费短缺，张东荪第一次主持中国公学，只做到了部分改制专科及添设高中。1922年秋，首将原有专门商科提高程度，改升大学。1923年夏，“以商科大学来学者日盛，势不得不力图扩充，又因添办高级中学，吴淞校舍实不敷用，故将商大迁移上海。”专科部比较有成就的是商业科。
改制大学最重要的还是经费。中国公学一开始便感到经费困难。此时，除了王敬芳每年中福中公司拨予的2万元外，并无其他经费来源。张东荪、梁启超等希望得到政府所发行民国元年公债200万元的利息（每年16万元）为经常费，但却迟迟未能实现。这样，张东荪在中国公学的改制的计划便无法全部实现。梁启超除一面与王敬芳向政府交涉拨公债利息补助外，同时又发起募捐。私人的捐助虽有所得，但为数并不多，根本无法满足办学需要。在这种情况下，张东荪内受学生风潮刺激，外受经费短缺困扰，处境十分艰难。
对于向北京政府交涉的情形，后来曾任中国公学校长的胡适说：“民国11年，常务董事会呈准政府依据元年国务会议原案，拨元年六厘公债100万元为补助金。此款由财政部于民国12年及13年，曾先后拨给整理公债票40万元。此项债票未经指定的款付息，故在市场上几于全无价值。后经王敬芳先生等呈准财政部领到第一期至第九期的利息二万元，以供偿还积欠及扩充图书馆之用。第十期以下应付利息，也会由公学呈请财政部，指定在福中总公司每年缴纳统税照十万元项下分四期缴纳，每期六千元，每年计二万四千元。此案虽经财政部公函（十四年财字二五五六号）照准但不久河南即成战区，福中矿务停顿，不但不能由矿税项下发款付息，连每年二万五的助款也完全停止了。”
1923年，张君劢出长吴淞自治学院（后改为国立政治大学），由陈筑山继任中国公学代理校长，将原有商科专门提高程度，改升大学。同年夏，因添办高级中学，校舍不敷用，故将商科大学迁设上海。此时大学（主要是商科）在上海，而高中在吴淞，陈筑山来往于两地之间，十分辛劳。中国公学便重新请张东荪来主持大学部。1924年，废除代理校长，改设学长，仍以张东荪任之，“协助校长总揽全校大政”。1924年夏，董事会推张东荪任商科学长，陈筑山先生专办高中。“十三年夏，陈筑山以病不克常川到沪兼顾商大，商准董事会，推张东荪任商大学长，陈筑山专办高中。”这是张东荪第二次主持中国公学，直到1927年公学被国民党接办为止。
张东荪再次主持公学后不久，即1924年秋，江浙战争爆发，浙军占用吴淞校舍，高中遂又停办一年。战争结束后，张东荪积极推动公学的各项工作。1925年春，他将商科从上海迁回吴淞，“同时延约海外名彦，计画添设哲学、政治、经济诸系，期于一二年间陆续开办，酌采伦敦大学之经济政治学院之精神，取其志在谙习实务者，得自由以窥得学理。且此制得随时放大，自成专科，应时代之要求而有新课之增设也。”张东荪雄心勃勃，拟仿照伦敦经济学院制度，将中国公学办成中国第一流的社会科学大学。
张东荪特别注意两方面，一是聘请好的教授，二是丰富图书，搞好图书馆的建设。他认为，本大学最重要的有两点：一是有好的师资，二是有丰富的藏书。为将公学办成国内一流大学，他在当时经费比较困难的条件下，着力从这两方面下手。
在聘请教授方面：张东荪广延名师，不拘年龄，不分党派及政治背景，凡是学有专长者，都大胆聘用。他主持中国公学期间，曾聘请过余颂华、刘秉麟、徐广德、高践四、郭德华、陈其鹿、陈伯庄、童瑗逊、李祖虞、金侣琴、余颂华、郭传治、霍俪白、陆鼎揆、傅子馀、章经芳、郭颂馀、岑德彰、谢冠生、黎纯良、黎照寰等，约20多位教授。
在丰富图书方面，张东荪主要将有限的经费投入到图书馆的建设中。1926年6月4日，《王敬芳请中华教育文化基金董事会拨款函稿》上，对张东荪力主兴办公学图书馆的情况及1925年左右中国公学图书馆情况作了说明：“夫图书馆之设立，有附于学校中者，有独立者。独立者固可供人浏览，使一班人皆得亲版籍；而附于学校者，则可供师生专门之研究。二者功用虽异，而性质实同。前者趣旨在博，后者目的为专，其于文化之贡献，实不得谓后者较前者为不切要也。敝校有鉴于此，以为学校当为研究学问左所，非徒传习而已，遂于一九二二年将旧有图书馆力事扩充，并颁行特别捐图书：凡教职员薪水每月五十元者抽一元，百元者抽三元，二百元者抽八元，学生每学期须缴三元，共计年可得约四千五百元。加以向各处募捐，自去岁实行后，所藏西书已由一千余进至三千余种以上。中文书除原有一千余种外，近得陈嘉庚先生认捐《四库全书》一部，一俟出版即可送来。”
按照张东荪和王敬芳等人的设想，公学要在5年内建设成一个专门图书馆，“不仅供本校师生研钻之用，且可供校外关心经济问题者之用。盖若敝校图书馆此类书报独多而且备，则凡欲研究此问题者必相率而来，届时敝校即将此图书馆公开也。”由于公学经费有限，王敬芳便曾向中华教育文化基金董事会申请拨款，“除已自筹得五千元左右外，敢请贵会拨助每年八千元，以十年为期。”
然而，由于缺乏必要的经费，张东荪创办一流“社会科学大学”的努力，显得异常艰难；他的这个办学目标，并未能够实现。张东荪早就意识到，要办好公学，必须在经费上给以保障，所以，当他再次主持公学时，便与陈筑山致函梁启超和王敬芳，期望得到经费上的保障。梁启超、王敬芳为了筹集经费，四处活动，其艰难远超过张东荪第一次主持中国公学时。对此，王敬芳在1931年《致胡适函》中说：“民国十二、三年间，中国公学大学部与中学部分立在上海与吴淞两处，因此费用浩繁。当时由张君东荪、陈君筑山分担两部分的主任，函电交驰，催为筹款。我当那个时候，还有挪借的力量，除托上海福中公司向浙江兴业银行、升和煤号各代公学借款数千元外，又在北方向各方挪借之款约有四、五万元，内有陕西督军刘镇华君捐给梁任公先生之文化学院一万元，文化学院未办成，此款由公学借用。”这些借款，勉强维持着公学的正常运行。正是利用这些有限的经费，张东荪除了将中国公学的商科扩大外，还办起了中国文学、政治经济学、哲学等系，扩大了公学的规模和影响。
对于中国公学经费上的困境，还可以从张东荪与梁启超等人的通信上得到反映。1924年4月间，张东荪与陈筑山致函任公，促其尽力与政府交涉付予公债利息。梁启超曾会同王敬芳与财政总长王克敏交涉，一无所得，气愤而归。他复书张东荪说：“吾为此事，……与叔鲁曾三度言之，毫无着实结果。搏沙为公学几于彼挥拳矣！仰面求人，总不足恃，徒呕气，奈何！”筹集经费困窘至此，张东荪主持中国公学的困难更可想而知。
中国公学是梁启超、张东荪为首的研究系在上海的重要文化据点，梁启超等人力图将它办成研究系在南方的大本营，所以尽管遇到了经费和学生风潮等各方面的困难，研究系并不愿放弃它。在张东荪的苦苦支撑下，它一直维持到1927年北伐军到了上海，才由倾向于国民党的何鲁接收过去。自此，中国公学为国民党控制，张东荪等研究系在中国公学的影响便减少了。
对于中国公学在教育方面的成就，梁启超说，在此10余年，“毕业学生数千人，或留学欧美，或服务社会，成绩称优越。”培养如此众多的毕业生，无疑推动了中国近代教育事业的发展。对于张东荪主持中国公学的工作，曾在公学任教的俞颂华后来评价说：“他也办过中国公学，他办学时候，据我所知道，有两大特色：一是毫无党派成见，专门聘请好的教授；一是积极充实图书设备，提倡自由研究的学风。这话是在那时中公毕业及读书的校友都能负责证明的。所可惜的，那时经费有限，而且他主持校政的事件亦不够长。不然，我相信中公一定能如北大和燕大一样有悠久的卓著的成绩。”