徐世昌移居青岛，要做一个“局外人”似的闲云野鹤，除了有些惩罚自己的意思，更主要的是为了能够静观变化，看清想清一些新的事情。
在隐居青岛前，徐世昌自然没有忘记去后宫与隆裕太后等辞行。后宫的人都劝他不要走，与他同授太保的世续甚至跪下来求他继续留在北京。他说自己不能“保护帝制”，无颜留在京城，只能远走闲居。大家都哭了，隆裕太后也感动地哭出声来。皇室对徐世昌的信任，由此可见一斑。
徐世昌答应袁世凯两年后出来帮他，袁世凯最后也是答应了的。可是到了1912年底的时候，做了几个月大总统的袁世凯感觉他的许多政令难以得到彻底的执行，心中烦恼，又去请徐世昌，遭到了拒绝。第二年春天，国民党领袖宋教仁，南下联络，到处发表演讲，对时政进行猛烈地抨击。袁世凯脑怒无奈之时，又想到徐世昌，前去青岛，请他出山相助，徐世昌还是婉言谢绝。
两年来，徐世昌虽两次拒绝袁世凯诚恳的相邀，与袁世凯却还是保持着书信来往。据当时袁身边军事处成员唐在礼记载：在第一届唐绍仪内阁中，袁世凯的心腹赵秉钧是核心人物，但“当时是小事由赵秉钧一人独挑，大事则必与徐世昌相商。实际上，闲居的徐世昌对袁世凯来说，仍然起着宰相一样的作用，而赵秉钧、板西（日本人）、王士珍、段祺瑞、梁士诒等人，只是各部大臣，唐绍仪也不过是遮场的幂幂吧了。”
正因为如此，当时就有人称徐世昌是“海滨宰相”。
因为徐世昌与袁世凯的关系非同寻常，完全超出了一般意义上的君臣或主仆关系，而徐世昌本人，在北洋政界军中又享有极高的威望，加上他推行“新政”的成绩、思谋慎密深远极富人情味的政治手腕，这么一个卓而不凡的人，千呼万唤还是没有出来，声誉更大，呼声也就更高了。
在1913年3月20日这天，宋教仁在接到袁世凯的急电后，正准备从上海返回北京，还未上车，在车站就遭歹徒枪击。
案发后的第三天，巡捕在凶手处搜到了国务总理赵秉钧发给他的多封密电，里面都提到“毁宋”二字。于是，抨击袁世凯的舆论铺天盖地而来，赵秉钧无法在国务总理这个大位上坐下去。袁世凯又去请徐世昌出山，徐世昌坚持原来说过的二年之期，还是不肯出来。
1914年，袁世凯终于等到了徐世昌答应复出的时候。为了实践“平定天下”的豪言壮语，早在去年10月6日，袁世凯就用武力逼迫国会推选他当上了正式大总统，接着是一系列的大动作：解散国民党、解散国会、废除孙中山为推行共和而制定的《临时约法》。
大半年时间过去了，袁世凯推出了新的《中华民国约法》，这个新约法规定：“大总统为国之元首，总揽统治权”，“置国务卿一人赞襄之”。
就在新约法颁布的当天，袁世凯又下令废止国务院官制，在总统府设政事堂，规定：“凡一切军国大事皆由政事堂议决施行”。
就这样，袁世凯用总统制代替了责任内阁制，国务卿便成了一人之下，万人之上的昔日宰相。谁能获此殊荣，拥有那么大的权利而又让袁世凯放心呢？当然是相交了大半辈子的拜把兄弟徐世昌了。
过来的历史告诉人们，政客的本来面目，总是随着权力的攉取逐渐揭开的，这时的袁世凯，可以说是已经掌控了中国，至少他自己是这么认为的，于是也就大胆地摘除了共和的面具，不再顾及与共和公开为敌。两年多的共和制约使他深感政令不能随心所欲的苦恼，原本对共和的某些倾向和赞同，都因为这苦恼被抛到一边去了。作为在大清王朝栽培下走出来的大臣，袁世凯已经习惯了那种主奴的政治模式。如果说他做奴才臣子时还有些许想法，现在做了主子大总统了，不由又常想起昔日皇帝的威风来。皇帝说出来的话就是圣旨，谁敢不听、谁敢不从！什么共和、民主、自由，总统做得跟儿皇帝一般。
袁世凯这个选出来的民国大总统，其实就是个大清皇朝的重臣，如今万人之上了，不满足，露出本性，也怀起旧来。
不久前，原清隆裕太后的死，袁世凯通令全国下半旗一天，文武官员服丧27天。不仅如此，还在太和殿举行国民哀悼大会，让参议院议长来主祭。
接着，袁世凯又发布尊孔祀孔令，说什么“天生孔子，为万世师表。既结皇煌帝谛之终，亦开选贤与能之始”等等。这一切，虽说都是袁世凯本色的做法，但同时又是做给远在青岛的徐世昌看的。
如今徐世昌答应出山的时间到了，袁世凯已经做了很多，徐世昌该出山了，可他还是呆在青岛不动。袁世凯一点都不恼，也不着急。因为他知道，徐世昌是个读书人，好面子，要想让他出山，光等不行，非请不可。
袁世凯便托了许多昔日的老友出面，一个个都往青岛去，能托的人都托了，甚至连长子袁克定也派去青岛劝说。徐世昌是个凡事有分寸的人，何况他又不是真心不想做官。袁世凯做到这一步，已是仁至义尽。盛情难却，徐世昌终于答应进京辅助袁世凯。
徐世昌带着全家，离开青岛，前往北京，在途径天津时，昔日的同乡老友华世奎热情地招待了徐世昌，席间却又禁不住质问徐世昌说：
“两年以前，你在北京与我说，大清既亡，我心已死，这一辈子，也不再去闻官服的味了。这话我还犹在耳边，怎么你就忘了呢？”
徐世昌听着，沉默半晌，并不吭声，有身旁朋友替他分辨说：“做官有多种，有为自己，也有为国家民众。徐大人此次出山，应该属于后一种。”
华世奎听了，再不言语，但从脸上的神情看，还是露出明显的不以为然。类似这样的责难，徐世昌一路听到几次，心里颇有些不快，也有些压力。到了北京，徐世昌没有去见袁世凯，而是呆在家里闭门不出。
有当时的著名记者黄远庸，对徐世昌的出山曾报道说：“官僚派则固欲有利用徐氏者，有以今日政局非有总统信任之人为百揆之长，不易统一……他人当家，人有异言；徐氏当家则必唯命是听……又如军人派，即以向曾多受徐氏指挥之故，深望徐之复出……其他则积恨朋党之把持者，谓非徐出则不足以扫清……更有一派新学家向曾受徐恩遇者，则深望徐之出以开新进之路……以此种种故，徐氏到京以来，劝驾者乃至门槛为穿。”
徐世昌清楚地看到：前清的同僚，此时大多穷途潦倒，这些人留恋往昔，对新的政权心存怨气，自然反感他出山帮助袁世凯。至于民国冒出的各派，掌权人对他一面是拥护，另一面是寄予重望，而骨子里则都是希望他出山后对他们有所帮助。
看明白了这些事，似乎自己出山除了遭人嫉恨就是让人利用。既然如此，自己又何必出去找麻烦呢？徐世昌这么一想，对于出掌国务卿一职的事，反倒是更加犹豫了。
袁世凯在总统府里急了，派李鸿章的侄子、前清云贵总督李经羲去徐世昌府上劝说。徐世昌见他说得恳切，于是也说了心里话：“既然要我出来，就得让大家都出来。譬如你这样的旧臣，大家一起出来为新政权做事。”
李经羲听了，高兴得很，回去照实说给袁世凯听。袁世凯心里也正有此意，只是一直以来没有个适当的借口，这是借了请徐世昌出掌政事堂，又启用了一批大清的旧臣。
到5月1日，袁世凯在得到徐世昌口头应允之后，正式下达命令，任命徐世昌为国务卿。事情办到这一步，徐世昌却又写了个辞呈，借口时艰责重，力绌难胜，呈请收回成命。他在辞呈中写道：
“世昌夙承知遇，仍当以散员居留京寓，遇有所见，随时献纳，仰备咨询，庶得稍赞高深，以尽其一民之义务。”
袁世凯在辞呈上批复：“难进易退，此为君主时代属于一姓一家者言之。若夫共和政体，天下为公，选贤与能，同服义务。但当学伊尹之任，不当学伯夷之清……已遣外交总长孙宝琦、陆军总长段祺瑞，造庐劝驾，万勿推辞。”
两位相交了大半辈子的把兄弟，彼此心知肚明，心照不宣地表演了最后一回合。到此，礼数已尽，徐世昌终于走进了掌管一切军国大事的政事堂，这位前清的相国，在闲居了两年后，于1915年5月，摇身变成了北洋政府国务卿，北洋人还是称呼他为“徐相国”。
对此，许多人认为是对他本人的一个讽刺。其实，在民国这种非常时代，是和平的改朝换代方式导致了这么一种必然的结果。除了徐世昌这个国务卿，袁世凯这个大总统，后来北洋历届政府的首脑，差不多都曾在前清做过事。
在这方面，徐世昌是有些特别，因为他有着清逊帝太傅太保的头衔，是清亡时汉臣官位最高者。仅此而已。
徐世昌入主政事堂后，袁世凯更加地怀念起往日皇帝的天威，一心只想能做一回皇帝，在身边一大群遗老遗少以及他的儿子亲属的附合下，袁世凯积极地做着复僻帝制的准备。
在徐世昌看来，帝制实不为可为，因为很不得民心。言谈中，却发现袁世凯此时对帝制已然着迷，哪怕过一天皇帝瘾，就是死也无憾。把兄弟对帝制有如此劲头，就是劝说当然也不会有半点作用，徐世昌只得缄口不言，开始静静地作壁上观。看着袁世凯复僻帝制的动作越搞越大，四面的反对声也越来越强烈，徐世昌观不下去了。看来我只能请辞，再作一回闲云野鹤，将来或可以局外人的身份，来收拾残局。给自己留下转圜的余地，实际上也是给袁世凯留下回旋的余地。徐世昌这么想明白了，就去向袁世凯请辞国务卿一职。
开始徐世昌没有把话说得很明白，袁世凯听了一意挽留，不肯同意。袁世凯的儿子袁克定说：“徐相国要去，就让他去罢了。”
“你懂个屁！”袁世凯狠狠骂儿子。
徐世昌一次请辞不允，又来第二次，这回把话讲得很清楚，理由道得很明白，袁世凯听到沉思很久，最终还是同意了，给徐世昌送行时谆请说：“不要再去青岛，这次一定就住天津，有事也方便请教。”
徐世昌点头答应，又一次离开北京，移居河南辉县水竹村，后自号水竹村人。
徐世昌前脚刚走，袁世凯立即就宣布恢复中国的君主制，建立中华帝国，并改远洪宪，将总统府改为新华宫，并封徐世昌、张謇等四人为“嵩山四友”。这是仿汉高祖时“嵩山四皓”的说法。
因为“嵩山四皓”都是隐居不仕的贤者，这样的赐封有永不叙用的意思，这使徐世昌很不乐意，在日记中大发感慨：人各有志。志在仙佛之乡者多，则国弱；志为圣贤之人多，则国治；志为帝王之人多，则国乱。
从这里也可以看出，在徐世昌内心的深处，还是十分渴望做官、做事的。
徐世昌心中虽有不满，但更多的还是担心，对于袁世凯称帝的前景，他看得太清楚，早料定袁世凯皇帝瘾过不长。事实果然也是这样，就在袁世凯称帝的当月，蔡锷、李烈钧、唐继尧在云南宣布独立，并通电全国，讨伐袁世凯。他们组成联军，命名“护国军”。蔡锷为第一军总司令，出兵川、贵；李烈钧为第二军总司令，出兵广西；唐继尧为第三军总司令，留守云南。“护国军”组成，反袁护国运动迅速在全国掀起。
袁世凯正大惊失色时，徐世昌来了，劝袁世凯：“称帝一事，就此打住，迅速回头，或可化险为夷。”
袁世凯想继位的几个儿子袁克定、袁乃宽在一旁听了，对袁世凯连连摇头，希望皇帝不要退位，他们或可有接任大统的机会。
袁世凯稍稍思考了一会，说：“非徐相国还有谁能跟我说这样的话，你们不要把我架在火上烤。”
说完袁世凯转向徐世昌说：“我听你的，立即废除帝制，恢复共和，只是你一定要来做我的国务卿，主持议和工作。”
徐世昌正沉思，袁世凯又说：“这种时候，你都不来帮我的忙，这普天之下还有谁肯帮我。”
见袁世凯话说到了头，徐世昌只好答应。一到任，徐世昌就去与讨袁护国军和谈，试图通过自己的威望要求停战议和。结果却遭到了拒绝。徐世昌经此挫折，感到非常失望，在国务卿任上刚一个月，便让位给段祺瑞。
袁世凯对徐世昌非常了解，知道他能在和平环境中搞建设，应付战乱还缺乏能耐。他请徐世昌来帮他，原本也只想把政治方面的一切托付徐世昌，军事上的事交由段祺瑞处理。看到徐世昌执意要让段祺瑞来打理一切，又想到自己原本的承诺，什么平定天下，如今天下非但没有平定，反而是祸起萧墙，自己被弄得众叛亲离了，于是就同意了徐世昌的请求。
徐世昌呢，也不是要抛弃袁世凯，而是通过出面议和遭拒一事发觉自己帮不了袁世凯什么大忙，如果还占着高位，无颜面对袁世凯。
就这样，两个年过半百的老伙伴，依依惜别，分道扬镳。徐世昌再辞“相国”归家，时年已愈花甲，能否再次出山呢！