在开始的几年时间里，孙中山虽说是器重蒋介石，却还是没能够重用他，因为在孙中山眼里：蒋介石虽有一定的胆识和相应的军事才能，但“性刚而嫉俗过甚，故常龃龉难合。”还有就是，蒋介石过于信奉弱肉强食，这使孙中山也有些不满意。
为此，孙中山一直不愿再把军事大权交付于他。
在陈其美死后，1917年7月，孙中山依靠滇、桂军阀唐继尧、陆荣廷等，在广州建立起中华民国大元帅府，自任大元帅之职，举起了护法大旗。为自己能掌控局势，孙中山组建了一支8000人的“援闽粤军”。任命陈炯明为“援闽粤军”总司令兼第一军军长。
至于蒋介石，开始只被安排在“援闽粤军”总司令部作战科担任主任一职，半年后任粤军第二支队司令驻闽。因为蒋介石性格刚烈，与粤军将领时有冲撞，受到众将攻击。恼怒之时，蒋介石常离职滞居上海，与张静江、陈果夫、戴季陶等合伙做交易所投机生意。因感到自己不受重用，蒋介石还多次辞职，甚至干脆不辞而别返回故里。
对于蒋介石的这些表现，孙中山虽然很不满意，却还是用他，后来还委以军事大权，除了因为蒋介石确有军事才干这外，当时军事干部奇缺也是一个主要原因。
早在成立中华革命党时，军事统帅黄兴因不满孙中山的入党手续而远走日本；后来，陈其美又遇刺；1921年，孙中山克复广东时，再牺牲了朱执信。到此时，孙中山身边在军事上有作为的人就只剩下了陈炯明、许崇智、邓铿等几个人。
广东克复后，1921年5月，孙中山就任非常大总统。他要以广东为革命的根据地，从这里积蓄力量北伐，通过武力削平直奉等军阀。而掌控着广东的陈炯明，却认为北伐难以取胜，只想能“保境息民”、“联省自治”，自己做一个“两广王”。为此，孙中山与陈炯明的冲突越来越大。
1921年10月17日至12月4日，孙中山从广西梧州抵达桂林，将大本营设在桂王府，取道湖南进行北伐。孙中山走后，将自己最为信任的邓铿留守广东。按照孙中山的安排，邓铿既主持粤军军事，策划后方弹药和粮饷的接济；又负有监督陈炯明的责任。为此，陈炯明对他产生忌恨。
3月21日，邓铿由香港回广州时，在广九铁路大沙头车站突然遭到暴徒狙击，其胃部被子弹穿透，于23日早晨五点去世。
邓铿被谋刺的事件发生后，孙中山十分震惊，严令陈炯明彻查凶手，尔后又电召陈炯明面商北伐的事情。因为心中有鬼和对北伐的反感，陈炯明每每拖逶不去与孙中山见面，还电辞本兼各职，率军退居惠州。
情况如此，1922年4月21日，孙中山下令免除了陈炯明广东省省长兼粤军总司令、内务总长三个职务，仅保留他陆军部长一职。
1922年6月，陈炯明叛变，指使部下炮轰总统府。孙中山携夫人宋庆龄，只好化妆逃出，在舰长冯肇宪的护卫下，登上永丰舰避难。
永丰舰是孙中山所掌握的少数军队之一，为海军总长程璧光在1917年7月响应孙中山广州护法运动起义后开赴广州的一艘钢木结构的军舰。舰长65.837米，宽8.8米，其排水量不足千吨。
陈炯明占领广州后，自任粤军总司令，因为他没有掌控海军，对孙中山无法再进行追击。可是，中山舰队内部叛变投敌事件迭起，孙中山身陷困境一时无法突围。这时，他想到了蒋介石，马上发去急电，让他速来永丰舰。
当时，蒋介石正在宁波消遣，收到孙中山的急电，迅速作一些必要准备，于6月25日从上海出发，4天后登上永丰舰。见到蒋介石后，孙中山立刻授权他海上全权指挥。
从6月16日开始，孙中山夫妻一直被迫滞留在舰上，其间舰上的官兵一直叛乱投敌迭起，险象环生，终因蒋介石临危不乱、镇定指挥、拼死保护，在援军一直未到的情况下，于8月9日，孙中山夫妻俩毫发未伤，全身而退，离开永丰舰。
孙中山因陈炯明的叛变无法把北伐进行下去，离开广州后经上海去了香港，第二次护法以失败结束。而蒋介石，却因在永丰舰上40天的出色表现，从此得到孙中山的信任和刻意栽培。
离开永丰舰两月后，蒋介石被孙中山委任东路讨贼军第二军参谋长；第二年2月被任命为大元帅府大本营参谋长；8月，派他率领“孙逸仙博士代表团”赴苏考察学习军事、政治和党务，历时4个多月，直到12月15日才回到上海。
孙中山之所以派蒋介石率团去苏联，主要目的是学习苏联的建军经验。早在1921年12月，共产国际代表马林在广西桂林会见孙中山时，就曾向孙中山提出“创办军官学校，建立革命军”的建议。这时候的孙中山，在自己长期的革命生涯中早已深深地感到，拥有一支高素质军队，对革命的成败至关重要。他的想法与马林一拍即合，这才有了蒋介石、张太雷等的苏联之行。
1924年是国共两党首度携手合作的开局之年，当时的中国，国民革命风起云涌，孙中山清醒地知道：“教育为神圣事业，人才为立国大本。”有了这样的认识，他很快在广州创办了一文一武的两所学堂。文的是国立广东大学（今天的中山大学），武的是黄埔军校。
在挑选黄埔军校校长人选时，蒋介石是首选人之一，当时进入孙中山考虑范围的，还有程潜和许崇智。经过反复斟酌之后，孙中山还是决定由蒋介石来出任校长，廖仲恺为国民党党代表。
随后，任李济深、邓演达为教练部正、副主任，上柏龄、叶剑英为教授部正、副主任；戴季陶、周恩来为政治部正、副主任，何应钦为总教官。此外还有熊雄、恽代英、萧楚女、聂荣臻、张秋人等共产党人担任教。
黄埔军校，是孙中山先生在中国共产党和苏联的积极支持和帮助下创办的，是第一次国共合作的产物。作为中国现代历史上第一所培养革命干部的新型军事政治学校，其影响之深远，作用之巨大，名声之显赫，都是始料所不及的。
学校集中了当时革命军中大差不多所有有才能的人，蒋介石得到校长一职后，开始竭力在学校中培植自己的个人势力。
当时在军校里，有两种势力一直在激烈地斗争着。一种是国民党的右派份子，一种是共产党人。当这两派矛盾激化时，蒋介石出面来调解。他巧妙地将两派各打15板，把他们两派的组织都解散，然后自己任会长成立黄埔同学会。他规定，一切会务均听命于会长，下级绝对服从上级。
这样一来，蒋介石通过学会，培养出自己大量的亲信。其中最著名的黄埔八大金刚——何应钦、顾祝同、钱大钧、蒋鼎文、陈诚、陈继承、刘峙、刘治中都是学会成员。
在教学方面，因蒋介石本人一生服膺明代王阳明和清末曾国藩，“程朱理学”、“三纲五常”为他基本思想和伦理观念。为此，蒋介石就在黄埔军校推行他这一套。1924年10月30日，他将《增补曾胡用兵语录》发给全校师生，每人一册。
在治军方面，蒋介石异常严厉，特别讲究等级观念，军纪、军规，千方百计地树立他个人威信，就像当年袁世凯小站练兵一样，企图由此建立一支效忠他个人的军队。
黄埔岛毗邻有个长洲要塞，蒋介石亲任要塞司令，在要塞炮台前竖起一面大旗，上面写着斗大的一个“蒋”字。从此时开始，蒋介石每天上、下班总是警卫森严，前有副官开道，后有卫兵殿后，身披拿破仑斗篷的蒋介石在官兵的簇拥下，一副志得意满、威风凛凛的样子，凡是遇见他的学生、官兵，都必须恭恭敬敬地向他敬礼，不然要受到追究处分不可。
就这样，这位在大革命初期有过贡献，却升职较慢的蒋介石官运亨通着一路走过来，到1925年3月，孙中山逝世。在蒋介石面前，军界只有他的顶头上司军事部长许崇智，党内只有汪精卫、胡汉民、廖仲恺比他资深历长。
孙中山逝世时，蒋介石正率黄埔学生与教导团官兵三千人“东征”，攻克五华、兴宁后，3月22日，蒋介石遥祭孙中山：
“敬遵总理遗嘱、继承总理之志、实行国民革命、至死不渝！”
誓言之后，蒋介石借了黄埔军校之力，“进步”更为神速。1925年7月，国民政府成立，当选为8名军事委员会委员之一，并兼任国民革命军第一军军长。8月，廖仲恺遇刺身亡。蒋介石与汪精卫结盟，驱遂胡汉民，撂倒许崇智，分掌了中央权力。
第二年1月，国民党二大召开，蒋介石又以“东征英雄”成为9名常务委员之一。不久，又任国民革命军总监，走上国民党权力枢纽。