徐世昌与袁世凯依别时，互道珍重，都盼望着不久就能“平定天下”，双方再次携手。令他俩都想不到的是，徐世昌到天津住了刚刚两个多月，袁世凯就病倒了。
病危中的袁世凯打急电给徐世昌，请他务必来京见最后一面。徐世昌匆匆来到总统府，见比自己还小四岁的袁世凯已经奄奄一息，由不得潸然泪下。
“菊人，你来了！来了，就好，好啊！”袁世凯断断续续地说。
“总统有什么话，安排了我就去办。”
袁世凯睁大眼，看了徐世昌很久，才喘息着吐出两个字：
“约法！”
袁世凯自接过孙中山临时大总统的桂冠，再到正式大总统，然后称帝、废除帝制，最后在一片讨伐声中死去，总共也就是不到五年的时间。可是，这其间却“约”了两部“法”。一部是孙中山等人为限制袁世凯的权力制定的旧约法，另一部是袁世凯为取得独裁统治而制定的新约法。袁世凯生前只认可新约法，他临终前说的约法肯定指的也是新约法。
按照新约法规定，新总统由在任总统推荐，提出三个人名，写下藏于金匮石屋中，待总统去世，取出来由受托取名单的人在这三人中推出一人任总统。
袁世凯去世后，徐世昌与段祺瑞、张镇芳（袁世凯表弟）、王士珍等四人从金匮石屋中取出袁世凯写下的预备总统名单，只见名单上依次写着黎元洪、徐世昌、段祺瑞三人的名字。
黎元洪当时实力并不是最强大，他也不是袁世凯的亲信，为什么就能排第一呢？关键是黎元洪在西南革命党人中颇有声望，而且如果按旧约法办，总统去世后也应由副总统接任，黎元洪当时是副总统，理应接任总统。
现如今，南北战事绷得正紧，袁世凯自己生前也无法解决，知道徐世昌自然也无法解决，不能独掌眼前的危局。袁世凯对徐世昌了解颇深，知道他可做和平年代的总统，却绝对做不了乱世中的枭雄。既然如此，自己死后由一位在南方中有声望的人来接任总统，对结束南北战争，收拾战乱的残局显然十分有利。
袁世凯就这么想的，也就这么安排了，真可谓是费尽了心机！徐世昌想着，沉思着。
在受袁世凯之托同去取遗嘱的四人中，徐世昌当时是唯一的平头百姓，可他的资格最老，声望也最高，大家便都来请他发表意见。
徐世昌知道：面前的这几位，张镇芳属袁世凯称帝的“帮凶”，眼下麻烦正多，能自保就不错了，根本没能力来争总统大位；而一直以来被称作北洋之“龙”的王士珍，为人做事都是谦让当先，也不会来强争这个总统高位；独有段祺瑞，被称为北洋之“虎”，做事独断专行，野心勃勃，绝对想争这个总统来做。
就个人感情来说，徐世昌与段祺瑞自然近了许多，但凭徐世昌的经验看，段祺瑞性格刚烈，与南方一直又有成见，值此南北紧张之时登上大位，只会把局面搞得更乱。更何况，还有袁世凯排下的顺序放在那儿。
徐世昌把这些都细细地考虑了，最后才缓缓地说道：“现在南方独立，收拾时局是一件极其艰难的工作，依我的愚见，根据《约法》，应该推举副总统黎元洪来继任。”
话说出来之后，徐世昌再不言语，只静静地望着他们三位。
“相国以大局为重，不谋私位。收拾残局，确实是黄坡（黎元洪）最相适宜。”王士珍首先附合说。
“确实，确实是！”张镇芳也连忙表态。
段祺瑞此时的心情很复杂，虽然他一直都很敬重徐世昌，认为他的话也有道理，但还是心有不甘，有些留恋总统的高位，只是此刻已经有两位都表态了，四人当中，自己只占其一，要想谋得总统大位，恐怕是不可能了。这么想着，看徐世昌的目光罩在自己身上等着回话，这才匆忙地说道：“很好，相国说得好，我与相国的意见一致。”
总统一事有了着落后，徐世昌松了口气。此刻他心里知道，袁世凯这一死，国事更加难为，外面有南北在相斗，内部掌控京师的段祺瑞与在南方颇有声望的黎元洪又一定有院府之争。世道如此，自己还是再去做闲云野鹤吧。徐世昌这么想着，匆匆离开北京，又回水竹村隐居。
黎元洪做了大总统之后，一直受做总理的段祺瑞操纵着，心里十分地不舒坦。俩人在对南方是和平解决还是武力解决的问题上分歧不能调合，矛盾越来越大。没有办法，只好请他们共同认可的徐世昌出面调解。
段祺瑞信任徐世昌，是因为他们有颇深的渊源。在小站练兵时徐世昌就是他的师长，在袁世凯当总统后徐世昌又把总理的职位让给他。而黎元洪之所以也信徐世昌，除了他敬重徐世昌的为人，还因为张镇芳的一句话。在黎元洪继任总统后，张镇芳透露了徐世昌说由副总统来继任的那句话，还添油加醋地说：“当时老段反对黄陂（黎）继任，是东海竭力促成的。”
然而，作为总统和总理都信任的人，徐世昌还是调解不了他俩人的矛盾，最后只好遗憾地再回水竹村。
徐世昌走后不久，黎元洪在得到辫子军统领张勋的承诺支持后，竟然大胆地罢免了段祺瑞的总理职位。
这一来，亲段的北洋军可炸开了锅，他们组成北洋督军团开会，商议要拥戴徐世昌为大元帅，组成临时政府来与黎元洪的政府对阵。
大元帅一职，于徐世昌来说，显然是有些文不对题。更何况，真要出山，徐世昌想要做的也是总统，于是便婉言谢绝了。
张勋表面答应支持黎元洪，实际上是想借机进京复辟帝制。后来果然这么做了，当然也就失败了。张勋自己成了臭狗屎不说，拖累得黎元洪也只好下台谢罪，临走前匆忙地给段祺瑞官复原职。
黎元洪一时之气罢了段祺瑞的总理一职，又一念之差地让张勋的辫子军进京搞复辟，接连错了两步棋，丢掉了自己的总统之位，得利的渔人却是冯国璋，他以副总统的身份代理大总统一职。这事段祺瑞当然非常的不乐意，但首先却还是他提出来的。因为只有这样，才能真正地让黎元洪下台。
可是，对于段祺瑞来说，他前面赶走了黎元洪这只虎，后面又来了冯国璋这匹狼。相比而言，冯国璋比黎元洪更让段祺瑞难受。冯国璋有野心，又有兵权，在北洋军中，威望一点也不比他段祺瑞差。
段祺瑞早知道这些，在把黎元洪刚逼下台时，他曾想授意北方各省军阀通电拥戴徐世昌为临时总统，组织临时政府，只等召集了新国会后，就可再行选举徐世昌为正式总统。可是，段祺瑞的计划还有没出台，北方的军人就已经纷纷通电，拥护冯代总统了。
事情发展成这样，段祺瑞只好作罢。因为如果他再坚持，势必引起北洋内部分裂，这在他来说，是不愿看见的。还有更主要的是，他知道徐世昌是绝不允许这样的状况出现。
作为清廷的遗老、北洋的元老，徐世昌对昔日的恩人还是有情义在的。清室现在只享有些许优待条件，这是人力所不能扭转的事情；北洋如今掌权，内部当然不能分裂。
袁世凯死后，徐世昌在北洋中的资历最老，又凌驾于各派之上，无论是做大元帅、当临时总统，都会损害他居各派拥戴的超然地位。更何况，徐世昌最不愿意看到袁世凯创就的北洋大业毁在自己手中。因此，当冯国璋就任后向他询问南北和解一事时，他对冯国璋说：
“当前首要的事情，就是巩固本派团体，这样对外才有实力，有实力然后才可言调和。”
徐世昌的话发自肺腑，意思也很明白：北洋内部，必须统一。冯国璋听了，当时也为之心动，遗憾的是，他与段祺瑞终究还是不能捏到一块。
争斗的根本是段祺瑞本是总理却要享受总统的权力，而冯国璋身为总统就要拥有总统的权力；争执的事件还是如何处理南北战争。冯国璋想联合西南势力，作为外援而强大自己；段祺瑞则想通过与西南的战争把自己的势力渗透到冯国璋掌控的地盘上去。
冯国璋和段祺瑞，一日比一日更加水火不容。在与段祺瑞的斗法中，冯国璋显然比黎元洪高明许多。段祺瑞坚持要战，他就让他去战，暗地里却唆使范国璋、王汝贤他们撤防，就这么把长沙给战掉了。段祺瑞首战失利，只剩了下台一条路。
冯国璋棋高一着，拿下段祺瑞，让王士珍出面来组建内阁。徐世昌得知此事，对王士珍说：“政见不合，也不能使用阴谋，导致团体破裂，将成北洋罪人。若是立志要和平，应该开诚公布地去做。”
王士珍听了徐世昌的话，再无心去组阁。
段祺瑞1917年11月19日辞去国务总理一职后，更加积极地策动督军团，致使军中高呼主战。冯国璋无奈，只好于12月18日再次请出段祺瑞，特派他督办参战事宜。
段祺瑞有了督办战事的权力，却并没有放弃对冯国璋的进攻，而是更加猛烈。因为有了一次被迫下野的经历，这次段祺瑞准备用和平选举的方式使冯国璋下台。
为达此目的，段祺瑞通过一番努力弄成一个由他把持、官僚政客组成的“安福系”，准备通过这个派系来把持今后的国会选举，把冯国璋选掉。而眼下，段祺瑞需要重掌内阁。比较而言，这事还不太难，在上窜下连活动一番后，到3月19日，以曹锟（直）、张作霖（奉）、倪嗣冲（皖）等为首，十五省联电请求段祺瑞来重新组建内阁。
徐世昌了解这事之后，命令田文烈去劝告冯国璋：一定要以团结为重，此时若不让段祺瑞重出组建内阁，一定会引发兵变。
冯国璋听了，无可奈何，只好在23日请出段祺瑞，复任他为国务总理。五天以后，段祺瑞的第二次内阁组建完成。到8月20日，新的国会成立，段祺瑞把持的安福系为第一大派系。
1918年，在选举民国第二届总统的时候，段祺瑞与冯国璋互不相让，矛盾越来越尖锐，争斗越来越激烈，徐世昌两面劝说：“不要自己把北洋弄得四分五裂，让别人钻了空子。”
可此时的段祺瑞与冯国璋都斗红了眼，谁也听不进去，仍然猛斗不已。北洋团体实，已经四分五裂。徐世昌再也忍耐不住，站了出来，指责段祺瑞与冯国璋说：“事情弄到这般田地，危害了北洋团体，你俩都有推卸不掉的责任，都应该作出牺牲了。”
徐世昌的话很明白：冯国璋与段祺瑞使北洋分裂，双方矛盾又无法解决，为维护大统，双方都得退下，至于谁来接掌他俩退后的空位，徐世昌没有往下说。这在别人心里，已经是很明白的事。
段祺瑞与冯国璋斗来斗去，都是平手，此时他也知道取代不了冯国璋，唯一的愿望是拉冯国璋一道下台，于是公开表示：徐世昌做了总统，自己不做副总统，如果冯国璋也同意不做副总统，他愿与冯国璋一同下台。
冯国璋是不甘心被段祺瑞拉下水的，可情况如此，让北洋的精神领袖徐世昌来做总统，已是人心所向、军心所向。段祺瑞这股庞大的势力都持这样的观点，新疆督军杨增新也曾发出了军人的心声说：“武戏演几出，文戏亦应演几出。若尽演武戏，则人人皆不欲观之矣。”
就是北洋的钱老板梁士诒，他就任参议院议长的第一个条件，就是选徐世昌来做大总统。而参议院副议长朱启钤，就更是徐世昌的影子了。就是不太容易服人的奉系势力头目张作霖，对徐世昌来做总统一事也吹棒得十分利害。
有兵权的总统们争斗得太久，让大家都烦透了、厌腻了，渴望让一个无兵权的徐世昌来做总统，这已是大势所趋。冯国璋明白了这一点，只能长叹一声说：“新国会选举的总统，如果是东海（徐世昌），我竭力赞成……退职以后，我不住京城，也不留天津，将归河间故乡，耕种自活。”
如此表态之后，1918年10月7日，冯国璋辞职。第三天，段祺瑞也递交了辞呈。而在此之前，徐世昌已经在出席总统选举大会的436名议员中以425票获选。
1918年10月10日，徐世昌这个文人，终于正式登上了乱世民国的总统宝座，当日即任命如同自己影子的旧属钱能训代理国务总理。至此，民国政府与国务院大权，统统掌握在徐世昌手中。
徐世昌当上了总统，他必须处理好的第一件大事，就是要谋求南北的和解，结束内战。为此，他使出了浑身解数，却都没什么效果。在位近三年后，直奉大战爆发。在获胜的曹锟一再逼宫之下，徐世昌只好离开总统府，迁居英租界，结束了近四年的总统生涯，也结束了40余年的从政历程。
徐世昌出身翰林，博学多才，文章诗词书画，样样精通。退隐后，他创作质量上乘的诗词5000余首，楹联一万余对。在北京班大人胡同，他还设立“徐东海编书处”，编辑《清儒学案》208卷。为此，除了政治家，国学大师的称谓，徐世昌也是当之无愧的。
徐世昌退隐之后，名声依在，1933年，日寇想借徐世昌的名声，请他出来组织伪政权，被断然拒绝。1939年春，徐世昌患膀胱炎，需去北京治疗，因怕被日人劫持，徐世昌坚持不去，不久病逝，终年85岁。