登基，称帝，年号也改为大业，功臣们也该论功行赏了。综合比较，各类排名，拥立第一功臣非杨素莫数。从在隋文帝面前打小报告，到废黜太子，从仁寿宫最后密谋，到千里出师平叛杨谅，杨素的功劳太大了。功劳大了自然就得赏，杨广随即封杨素为尚书令，儿子杨万石、杨仁行、侄儿杨玄挺仪同三司（勋官八级、正五品上），赏绸缎五万匹、绫罗一千匹（这得用到什么时候）及杨谅的女奴二十名。此时的杨素达到了人生的巅峰，但我们都知道，巅峰的后面就是低谷，这是世间的规律，谁也逃不掉。如果杨素的眼睛能看到身后事，那么他可能会后悔三件事情，一是一个儿子的名字没取好，二是一个儿子智商不高，三是自己看错了一个人。那个名字没取好的儿子就是刚才得到封赏的杨万石，名字寓意很好，“万石”，这是高级干部的代名词，意思是将来是享受万石黍米级别的高官。名字寓意很好，可惜谐音实在太遭，“万石”谐音“完蛋”（各位可以在输入法上试一下）。
最终的杨家的结果真是如同这个孩子的名字一样，“万石”，完蛋！那个智商不高的儿子就是扯起造反大旗的杨玄感，这位老兄级别挺高，胆也很大，居然选择在杨广二征辽东的时候起事，一个直接的后果是导致二征辽东草草收场。本来辽东城攻陷在即，结果杨玄感起事的消息传到前方，杨广只能火速回军，二征辽东即告失败。如果杨玄感没有起事，如果早一点攻陷辽东，或许征辽东就不会成为隋朝灭亡的导火索，要怪只能怪那个倒霉孩子杨玄感。起事后的杨玄感尽管初期非常凶猛，只可惜智商不够，首鼠两端，跟老爹杨素相比，他的军事才能不足以建功立业，充其量只能搅局。不过杨玄感起事对于李渊倒是有积极意义，至少提醒李渊：“造反不能像杨玄感那样首鼠两端。”（在后面李渊起兵时再细说！）那个杨素看走眼的人不是别人，就是隋末农民起义的着名领袖李密。李密年轻的时候很喜欢读书，读书入迷的时候经常骑着牛，牛角上挂着《汉书》，一路骑牛一路看（有点行为艺术的味道）。
正巧有一次被杨素看到了，杨素被这一幕深深吸引，上前一攀谈，发现李密谈吐不凡，仔细一问，居然还是北周八柱国之一李弼的曾孙。从此杨素非常器重李密，还把李密引荐给儿子们，杨玄感与李密的良好关系就是从这时开始的。值得一提的是，当年杨素曾经问李密看的是什么书，明明看的是《汉书》，李密回答却说是《项羽传》。李密为什么要说谎呢？难道《项羽传》的地位要在《汉书》之上？后世的我们恐怕无法知道其中真正的原因。然而，一语成谶，李密的结局居然与项羽那么相似！说起来杨素被杨广疏远，其实并不是因为儿子的名字和智商，主要还是因为他的位置太高了，知道的事情太多了。如果说嫉妒是杨家女人的天性，那么猜疑，则是杨家男人的秉性。在开国皇帝杨坚的统治下，当年为他立下大功的臣子们随着时间的推移被疏远，高熲、杨素、贺若弼、韩擒虎、史万岁，这些人都立有大功，然而他们的结果都一样，都是被疏远。相比之下，大将史万岁更惨，刚跟突厥打了一场胜仗回朝请赏，没想到却被杨坚怀疑结交太子杨勇，当廷被活活打死，怎一个惨字了得。杨坚如此，杨广同样也如此。
在杨广的统治下，他的猜疑心丝毫不亚于他的父亲，他需要的不再是权臣，也不再是能臣，而是听话的庸臣，因为老杨家的人都一样，对于别人的智商一贯低估，对于自己的智商则是一贯高估！在杨广的疏远下，杨素终于明白了，想继续在皇帝面前转悠是不可能了。杨勇已经倒了，杨谅也已经收拾了，杨广实在想不出还有什么地方需要他，所以对于杨素，杨广的选择是“供着”，而不是“用着”。被“供着”的感觉实在不好，但又能怎么样呢？名义上已经位极人臣，难道还要封你一个名誉皇帝不成？事实证明，在中国历代的官场上，一个官员对于政治生命的重视程度甚至超过了自然生命本身。那些位高权重的人，一旦失去了官位，失去了实权，就如同龙王三太子被哪吒抽了龙筋，身还在，魂没了，杨素就是这样一个人。自从大业元年被封为尚书令以后，他的工作不是更多了，而是更少了，甚至没有了。部属对他倒是很客气，也客套地请他指导工作，但聪明的杨素看得出来，那是一种同情的客套，那种客套是现任干部对待退休老干部的。
大业二年六月二十九日，杨素被提升为司徒（三公之二），这更是一个闲职，一个能把自己闲出病的职位。杨素彻底明白了，自己的政治生命已经结束了，接下来的任务就是在重大节日接受现任国家领导人的看望和慰问了。不过事情到这还没有完，随后杨素又被封为楚公，这也是一个荣誉称号，这个荣誉称号看着荣光，实则险恶，用通俗的话说，这个称号是让杨素替国家踩地雷的。事情又是从天文台引起的。当时一位天文台官员经过连续观察星象做出了一份研究报告，报告显示：古随国地区将会有大规模的葬礼，也就是说这个地区将会死人，而且死的还不是一般人，不是皇帝就是重臣，反正得死人。杨坚以前在北周时被封为随国公，因此在隋朝，古随国地区实际上指代的就是隋王朝，如此以来，这份报告的意思就是隋王朝将会有比较盛大的葬礼，对此杨广非常厌恶，怎么才登基两年就赶上这种事呢？那个年头是讲究消灾的，杨广灵机一动，还是想到了消灾的方法，既然有人需要死，那就让杨素来担当这个大任吧。随即杨广下诏将杨素封为楚公，楚和古随国都是指湖北中部地区，实际是指的是一个地方，只是不同时代的叫法不一样而已。
杨广把杨素封为楚公意思很明显，你杨素就替国家死一回吧，我保证你会受到国葬的。像杨素这样的高官，宫里是不可能没有几个朋友的，很快他就从宫里知道了皇帝这个封号的意思，“为了国家，去死吧！”任务够艰巨的。如此以来，杨素的政治生命已经到了尽头，自身的生命也快到到了尽头，一年多的抑郁加憋屈很快积成了病，他正向生命的终点加速迈进。
得知杨素重病，杨广表现得很关切，频繁派出最好的医生开列最好的药，不过每次医生一回宫杨广就会关切地问：“怎么样，什么情况？”千万别误会，杨广频繁过问杨素病情并不是为了让杨素快点好，恰恰相反，“怎么还不快点死为国家消灾呢？”到了这个分上，杨素已经没有选择了，药不能吃了，身体不能要了，医嘱不能遵了，气也不能喘了，目的只有一个，不活了，每语弟杨约曰：“我岂须更活耶？”有的时候，活是一种折磨，死是一种解脱，杨素，同意请点点头。大业二年七月二十三日，司徒杨素走完了他的人生路。他的一生是奋斗的一生，革命的一生，久经考验的一生，同时也是虎头蛇尾的一生。杨素死后，受到了国葬，被追认为太尉和虢州等十个州的州长，他的悼词很长，很长。悼词，是为死人写的，念给活人听的。活人承受不起，而死人又听不到。