徐世昌做兵部尚书时，正好是知命之年。一个汉人能做满清这样的官职，在大清朝开国以来尚属首次。徐世昌得到这样的殊荣后，官运还在继续亨通着。
第二年，朝廷又委任他为钦差大臣、东三省总督兼管东三省将军事务，集军政大权于一身，从一品级。
这时候，各省督抚若要联名奏事，再轮不到袁世凯、张之洞，而是得由徐世昌这个东三省都督来领衔了。
这个东北三省，是大清祖宗的发祥地，倘若进不成时，是块退可就的重地，战略位置十分重要。然而，在此之前的十余年中，先是沙俄于庚子年就派兵十几万占领了东北，然后是日本来争夺与沙俄在东北不断引发争战。俄日两强，三次洗劫东北三省，杀戮三省人民。富裕的东三省，一时民生凋残、满目疮痍，差不多就成了两强的殖民地。
东三省地处日俄两强的第一道国防线，一旦失去，直接危及京师。袁世凯等有识的督抚对此感受深切，于是由袁世凯领衔，几位督抚联名奏请：变通东三省官制，合三省之力设一总督替代原来的几位将军，统一领导把东三省建设强大起来。
亡羊补牢，犹为未晚，何况东三省关乎满清命根子，朝廷于是乎再顾不上什么满汉有别，采纳了袁世凯等督抚的建议，内定由庆亲王奕劻的儿子，时任军机大臣的载振承担这新设的、为外官要职中最红的差事。
1906年，清廷让载振先去东三省作一次全面的考察，然后对症下药，提出解决方案，以便朝廷视情况拨出些相应的银两。因为载振少了些经验知识，清廷派同为军机大臣的徐世昌一同前往。
载振与徐世昌，在东北考察两个多月，经过了奉天、哈尔滨、齐齐哈尔、长春、吉林等地，走了数千里路程，一切都很顺利。回京时，途经天津，被时任直隶总督的袁世凯热情留下，住了两天。
在袁世凯招待他俩看戏时，载振一眼看中了女伶刘翠翠，没等戏散就让人唤来带去歇馆，第二天竟又带着这刘翠翠一同回到北京。不知怎么的，此事很快传出，并有御吏赵启霖奏劾：“载振不仅公差纳歌妓刘翠翠，还从天津商会王竹林那儿受贿十万两白银。”
有名有姓，事实俱在，慈禧恼怒，开去载振军机大臣等差事，东三省总督一职，自然也不让他去担任了。因为载振出事，向朝廷汇报东三省考察结果的事情，全由徐世昌一人来做。此时的徐世昌，当然不会放过这次展示自己才能的好机会。
在考察的过程中，徐世昌就非常的认真，凭着他渊博的知识学问，周详地列出一项项需要了解的内容，每到一处，详加询问，仔细记录。至于沿途的招待，酒宴美女，他则尽力避开，送来的礼物，他也一概拒绝。回来之后，对治理东北三省，徐世昌已然胸有成竹，没料到又能一人汇报，真是天赐良机。他即刻着手整理考察资料，洋洋洒洒，写了十余万言的《通筹东三省全局疏》。
慈禧读着徐世昌的《全局疏》，老衰衰的一张脸上露出笑容。这个徐世昌啊，对情况了解全面，分析深入，治理方案切实可行，看来是可以授权让他做钦差大臣。
慈禧这么想了之后，第二天徐世昌就得到了东三省总督兼管三省将军事务的差事。在接下来的几天时间里，慈禧接连四次召见了徐世昌，询问有关想法、计划、困难、要求。徐世昌受宠有佳，却异常冷静，通过慎密地思考后，提出首先要能“合署办公”这一想法。
徐世昌认为，如此一来，就得合设一新署，除去得专门修建新署外，还要置一合署主官，也应为主官建造官邸，优支薪俸，以示尊崇。这招“建署加薪”，一方面突出东三省特殊、自居内地尊贵之位，另一方面又能向朝廷伸手要到许多钱。
徐世昌非常清楚，要把一个烂摊子收拾好，首先是需要钱的；徐世昌更明白，东三省是朝廷的命根子，朝廷是会愿意为自己的命根子花钱的。
除了位尊钱多，要把个地方打理好，当然还得有实权。徐世昌于是又提出：东三省总督既蒙特授钦差大臣，就应当遵循原本曾国藩、左宗棠等所辖用兵之省，如提督、总兵、布政使、按察使等军政要员皆准保用的旧例，拥有关吏治损益、财款出入，及一切事项准酌变通的权力。
这里需要说明的是，原本曾国藩、左宗棠之所以拥有这些特权，是为开战而设。可现在东三省总督又没有开战，却要包揽三品以上官员的选用，索权之大，令人震惊。
徐世昌之所以如此，目的是为扩大三省总督的权力，这与清朝的中央集权内重外轻的统治政策十分抵触。这种要求，其他各省督抚，包括袁世凯和张之洞等，也都是不敢有所奢望的。
基于种种考虑，徐世昌却大胆地提了出来。令人意料之外的是：清廷却一一批准了徐世昌的所有要求，不但答应了他提出东三省设立职司制的事，还同意了他提出东三省督抚有权办理诸事的种种可以说是十分过分的要求。
皇恩浩浩荡荡，徐世昌大喜过望。1907年阴历4月下旬，为堂弟徐世章举行完婚礼以后，徐世昌便启程前往东北。5月初二这天，徐世昌抵达奉天，正式就任东三省总督一职。
单就官职的大小来说，地方总督只是正二品，自然比不上从一品的六部尚书；地方巡抚也是从二品，还是在正二品侍郎之下。但是，地方督抚独当一面，遇事自作主张，实权很大，特别是掌管一方政治经济，无论是安插栽培亲信属下、还是捞取钱财，比起中央属官，都要方便很多。再加上，徐世昌的种种过份的要求得以满足，更使得东三省督抚位尊权实，在全国的督抚中卓然而立，独冠群督。
之所以临任前提出种种要求，徐世昌不过是想尽快治理好东三省，使之尽快恢复元气，成为北方的一个强大的重镇，真正担起既是京城的护卫、又是朝廷的退路的重要职责。如今幸得朝廷理解，给他一路的绿灯，徐世昌热血沸腾，信心倍增，一到东三省督抚的职位上，立即大刀阔斧地干起来。
乱世总是没有民主可言的，弱肉强食是乱世的普遍存在，要治理乱世，只能采用以毒攻毒的独裁方式。这一点，久居朝中的徐世昌，看得清清楚楚，也把握的十分准确，出手更是十分的狠毒。
他到了东三省，首先就从最棘手的政治体制改革入手，凭着朝廷的信任，凭借他独享的大权特权，很快确立了总督一人负责制，用治军的方式来管理地方官员，将东三省的所有政事、军事、民事，都揽在手上，由他一人最后拍板才可以决定，特别是所有官员的升迁处罚，非得由他说了才能兑现。
在徐世昌设置的行省公署，所属的各司与督抚都在一起办公，遇到难以处理的事情，大家就一起商量，尽快把问题解决。这既简化了办事手续，又提高了工作效率。徐世昌建立的一高效率决策机构和运行机制，对于东三省的整治与建设，起到了很好的作用，同时也很好地适应了晚清推行新政的要求。
在整治与建设东三省的过程中，徐世昌反复强调：“值此非常之地、非常之时，非改革无以图存。”
为惩治腐败，更新吏治，徐世昌还推行了一系列具体政策来付诸实施。他向全国发出公告，大力招贤纳士，高薪招揽第一流的政务人才，特别是重用那些思想前卫、具有真才实学的留学归国人才。经过徐世昌的一番努力，东北三省这“一隅之地”，一时聚齐了大量顶尖级的各类人才。
徐世昌在朝中一呆14年，深感腐败对朝廷的危害。对贪官污吏，他一直是深恶痛绝，这时自己做了一方诸侯，无论是因为心中的恨贪情结，还是出于治理东三省的必须，都使他出手超常严厉地来打击贪官污吏。一经发现核实，只要贪污一两银子，无论官大官小也即刻砍去头颅。如此一来，没过几月，东北三省，贪污基本消匿。
徐世昌上任伊始，朝廷虽拨了大量银子，可因为日、俄的连年折腾，三省的财政，还是十分的困窘，常常是入不敷出。为解决这一非常棘手的问题，徐世昌按照以兴办实业为中心，与列强进行商战，来达到富省、强兵、御侮的这么一条思路，改弦更张，推行了新的一套财政政策。
在城市里，主要是在不设租界、确保主权的前提下，设立银行、多开商埠、聘用洋员、引进外资；在农村，则给农民尽可能的技术、种子方面提供帮助，鼓励农民利用“地势广衍、土脉膏腴、雨量充足”等优越的自然条件，大力发展粮食畜牧业。
在徐世昌到东三省之前，当地农民并不知道种植小麦。经过徐世昌的积极倡导、并同时给农民提供国内及日本、美国的良种，三年之后，东北遍地麦浪，除了自给自足，还能有小麦出口。
在历史上，但凡给人民做了好事的官员，人民总是能永远地记着他。此事时至今日，东三省的人民还奉徐世昌为“麦之先农”。
除了小麦，徐世昌还第一个给东三省从澳洲引进良种羊和拖拉机，对于促进东北农牧业发展和近代化的进程，起了十分重要作用。
同时，徐世昌还帮助边寨清剿土匪、移民屯垦、修建铁路、通畅电话，积极发展科学、教育、以及工商业，特别重视人的改造。为了改造满清八旗子弟的那种寄生虫似的生活，徐世昌专门设厂办校，以“化其气质”，使“八旗人才不可胜用且不必再为筹出路也”。
作为一个治世之才，徐世昌出任东三省总督，仅用了两年多的时间，就使东北三省与之前相比成了天上地下、方方面面都焕然一新。
值得一提的是，徐世昌入主东北三省后，日、俄仍不停止对东三省的野心。在应对日俄侵略的问题上，徐世昌在上任前就与时任北洋大臣的袁世凯商量好了相应的办法：一是“以保卫主权为第一急务”；二是“在具体交涉时，为了在主要问题上达到我们的目的，在次要问题上让步也许会复得必要”。
对日本明目张胆的侵略行径，徐世昌总是给予最坚决反击。徐世昌坚持地认为“必示人以不可攻，而后人不攻；必示人以不可欺，然后人不欺。”为了卫护领土主权，徐世昌坚持据理力争，寸土不让。
有一次，日本人在图门至六道沟90余里钉立木桩，悄悄地将属于我国领土划入当时被他们侵占的韩国地界。徐世昌闻报后，立即下令吴禄贞带人，将这些木桩统统拔去。徐世昌针锋相对的做法，有效地遏制了日本对中国边境领土的蚕食。
在对待沙俄的野心时，徐世昌同样采取针锋相对的做法，取得了“已无余憾，为之欣慰”的结果。
徐世昌在东北两年多的时间里，大力实施近代化建设，为中国近代化建设开了先河，推进全国近代化进程。
然而，正当徐世昌在东北干得热火朝天时，1908年11月，光绪和慈禧先后死去。溥仪入承大统，他的父亲载沣做了监国摄政王。
因为袁世凯出卖了载沣的哥哥光绪皇帝，载沣要杀袁世凯为哥报仇。传几位军机大臣来商量此事时，张之洞以“主幼时危，未可遽戮重臣动摇社稷”，这样的话来劝说皇太后和摄政王改变主意，致使袁世凯免于横遭杀戮，只是开缺回家养病。
徐世昌是个有远见的人，当他知道皇位传给溥仪之后，就知道袁世凯会受到打击，而自己与袁世凯关系一直密切，这事朝廷不可能不知。基于此，为了自保，徐世昌就给朝廷上了一折子，以积劳患病，恐误重任为由，疏请开缺回家。
谁知道，在朝廷还没有回话时，1909年，清廷亲贵载涛从欧洲考察陆军回国，经过沈阳，看见马路、电灯、军警无不备具，街市焕然一新，根本不是当时中国的其他边疆城市那种落后的样子，简直就可以与欧洲的一些城市相比。载涛惊诧不已，对徐世昌大加赞颂，回到京城，对朝廷上下大谈徐世昌治理的东北三省，并力荐徐世昌入值枢府（内阁）。
载涛是摄政王载沣的亲弟弟，是皇帝傅仪的亲叔叔，他对载沣说：“朝臣中通达新政者，徐必首屈一指。”
载涛又去与隆裕太后商量，想让世续退出军机处，由徐世昌替代他。不久，徐世昌被授内阁大学士（又称相国），享受清代文臣最高的荣誉。
到1911年5月8日，清廷设立责任内阁，奕劻为总理大臣，徐世昌进入内阁，与那桐一道为协理大臣。