助桀为虐，报应不爽
有一次，隋代著名相学大师来和到长安后，被杨素请到家里，要他为自己的屋宅和子孙观相。来和一到杨素的府第前，就说：“此宅阴孽太重，家必遭大故，如不在自身，必及子孙。”杨素道：“何以消灾？”来和道：“以德禳之。”杨素请他为几个儿子玄感、玄奖、玄纵相命，来和道：“将军已位极人臣，已是大贵，子孙何必再相？”事后，来和对人言：“越国公尸居余气，位至三公还无厌地贪财、享受，又不积德。因功，他自身可免，子孙必殃。”
以后的事态发展，果与来和的话不差分毫。
隋文帝杨坚到了晚年，碰到了一个十分棘手的问题：就是对皇储人选的确定。他即位不久，就立长子杨勇为太子。可杨勇又不争气，奢侈好色，不善矫饰，为人也大大咧咧，使杨坚很不满意，怀疑杨勇是否能承继大统。这时，杨坚的二儿子杨广见有机可乘，就居心叵测，矫情饰物，以邀名誉；同时，为了能顺利夺嫡，杨广不惜千金请杨紊为他从中周旋，让他在杨坚面前替自己说话。当杨素收到杨广的千金之礼时，对家人惊讶道：“东宫危矣！”
作为朝中宰相、手执兵权的大将杨素心里十分清楚杨勇是个实在人，才智中等，本质并不坏，只是不会做假而已，而杨广之所为完全是有计划，有预谋的行为。有一次，他对家人说：“晋王饰简矫物以邀名誉，恐非善举。”但只因太子杨勇为人大大咧咧，对他杨素亦不太尊重，而杨广又送了千金子他，相比之下，觉得杨广可靠，如将来杨勇即位，可能不利于他。权衡之下，为财富、为权位计，杨素决计助杨广夺东宫，并彼此结成一党。在杨坚面前，杨素经常说杨勇的坏话，说杨广如何仁孝，等等。有一次，杨坚问杨素：“勇奢侈已甚，恐非能承社稷之主。”话中露出有废杨勇之意。杨素回答得很巧妙而又倾向性十分明显：“常言道：知臣莫如君，知子莫如父。晋王仁孝，陛下所知，其他臣亦不晓了。”所以，杨坚废勇、立广，杨素起了关键作用。
相传开皇十六年（596年），杨广被立为太子的当天，长安附近三县发生地震，雨雪纷飞，倒民房上千间，压死百姓四百多人。说明隋文帝杨坚逆天行事，上帝已经示警了。
隋文帝仁寿四年（604年）七月，杨坚在仁寿宫一病不起，将不久于人世。作为朝中宰相、大将的杨素与兵部尚书柳述、黄门侍郎元岩人阁侍候。因太子杨广在父重病时对父妃陈夫人无礼，使文帝知道后气得大怒，连连惊呼：“畜生何足付大事？杨素误我！”并命人去召废太子杨勇。
这对于谁当皇帝是关键时刻了。当杨广得知父亲在召唤杨勇时，急得头冒虚汗，不知所措，忙找杨素想办法。杨素是统兵大将，这点小事根本就难不倒他。杨素道：“杨勇如召回，你将如何？”杨广道：“你我都无遗类矣。”杨素说：“这就对了，事已至此，只好一不做，二不休。”并要杨广如此如此。
两人商量之后，杨素调遣禁军，封锁各交通要道和官闱出入，严禁任何人人内，然后，要杨广人宫侍候。杨广连忙率自己的心腹左庶子张衡入宫，一会儿工夫，就传出皇帝驾崩的消息。杨坚一死，杨素要杨广立即登位，以防夜长梦多，同时把杨勇赐死。
所以，隋炀帝杨广从夺位东官到弑父自立，自始至终，杨素都参与其谋，为杨广的帝位立下了汗马功劳。因此，杨广流毒天下，残戮百姓，杖杀忠良，最终使隋王朝覆灭，杨素有不可推卸的罪责。因此，杨广即位后，拜杨素为司徒，赐爵楚景武公，赏赐钱财巨亿，良田万顷，子孙世代承袭，算是对杨素出力一场的报答吧！
其实，杨广只是利用杨素而已，一旦自己当了皇帝。杨素的利用价值也就完了。而且夺嫡弑上的一切内幕，杨素又清清楚楚，这对杨广来说是一大隐患。同时，杨素从军统兵几十年，朝中宰辅，位高权重，又是协助杨广夺位的最关键性人物，有明显的功高震主之嫌。所以，杨广对杨素外示尊宠，内实忌之，作为杨素本人亦心知肚明。
炀帝大业二年（606年）底，杨素病重。杨广知道后，令名医诊视，并赐以名药，暗中却对太医说：“他还能活多久？”杨素一见皇上的名医和药品，知道是怎么一回事了，就坚持不饮，说：“我也不想活了！”不久即死。得知杨素的死讯后，杨广喜日：“幸好死得早，否则终当灭族！”
七年后，隋炀帝杨广因屡对西部用兵，毫无所获，就想调军东向，征讨辽东之高丽。大业九年（613年）四月，杨广又起大军三十万，令大将宇文述和杨义臣率之，自己随军亲驾。杨广随军走后，洛阳，长安一带空虚，国内兵力几乎全部调东征去了。
此时，杨素的长子，时任礼部尚书的杨玄感见朝政日非，政治黑暗，天下民不聊生，现在关中又空虚，就想在河北起兵推倒隋炀帝。他与其弟商议，其弟杨玄奖说：“吾家世荷国恩，现要举兵作乱，恐非善举，而且先父在世都畏上三分，何况我们？”杨玄感道：“杨广乃无道昏君，先父被他气死，百姓被他饿毙。如举义兵，天下定可群起响应，非常之时也。”他不想听其弟的话。杨玄奖又道：“举兵乃大事，你何不找李密来商量一下？”
李密是北周上柱国李弼之曾孙，后当了瓦岗农民起义军的首领。家贫好学，轻财好士，志气雄远。有一次，他执《汉书》在黄牛背上诵读，被杨素瞧见，深异之，极为称赞不已。于是领李密至家，与之交谈，杨素大悦，对杨玄感等人说：“李密识度如此。汝等不及。”并常对人言：“李密真丈夫，而我那几个儿子，猪一样，没有能赶上李密的。”并叮嘱杨玄感。遇事找李密商量。
此时的李密正在河北，他对统军在河北的杨玄感说：“公世代望族、朝中宰辅。影响深远，现又遇昏君无道之秋，举兵安天下，正是时候。”说着，提出上、中、下三策供杨玄感选择：“天子出征，远在辽外，就是返到幽州也有千里，南有巨海。北有强胡，中间只一小道，又极艰险。你如拥兵长驱人蓟，扼隘守险，使天子进不得，退不能，不过旬月，资粮皆尽，可不战而擒，上计也。”
“帅众鼓行而西，经城勿攻，直取长安，收其豪杰，抚其士民，据险而守，天子虽还，失其根本，可徐图也，此为中计。”
杨玄感道：“下计如何？”李密道：“简精锐，昼夜信道，袭取东都，以号令四方。但如久攻洛阳东都不下，援兵四集，前途就难以预料，此为下计。”
李密的方略是：先阻大兵于蓟外，消灭隋之有生力量；其次是据关中、阻临潼。号令天下，与隋炀帝抗衡，舍此二途，计较于一城一地的得失，久挫坚城之下，如大军云集，只有死路一条。以后李世民人关夺天下，其战略大政基本上不出李密的估算，所以，李密的分析还是切中时弊和深刻的。
可杨玄感虽出身宰辅，将门之后，其实心中没有多少才学，是个膏梁子弟，才劣识庸。他听完李密的分析后，说：“今百官之家都在洛阳，若先取之，足以动其心。而且临城不攻，何以示威？公之下计实为上策也。”李密一听，久默不语，步出门外，长叹道：“如此庸才，还要夺天下，死无日矣，真是上天要毁灭杨素了。”
杨玄感拒听李密的劝告，于大业九年（613年）七月，举兵五万，东向取洛阳。他分兵五千守慈涧，五千守伊阙道，遣将韩世号率三千人围荥阳，命将率五千人取虎牢，剩下的兵力全部攻洛阳。如此布兵，亦可看出杨玄感也不是将才。
洛阳是隋王朝的东都，城坚粮多，加上又是朝中百官的家居地，时有重兵把守，使杨玄感久攻不下。这时，远在辽东的杨广闻杨玄感围东都，大恐，对人言：“此儿聪明，甚可为忧。”大臣苏威道：“能识是非，审成败。乃谓之聪明，玄感粗疏，必无所虑。担心的是怕以此引发天下大乱。”杨广一听，忙命大将屈突通率军五万，疾驰洛阳与杨玄感决战。
外有强兵，内有坚城，杨玄感势不能支，一日三败，仅率十余骑逃走。后被隋军追上，与其弟被执送洛阳，五马分尸而死。其余几个弟也因此而遭杀。随后，杨广又屠灭杨玄感几兄弟的子侄，至此，杨素子孙灭绝。而杨玄感从起兵致覆灭仅两个月时间。
杨玄感死后，杨广还不解恨，又命人掘杨素墓，把杨素的尸体挖出来，烧成灰，随风飘散。
身为朝中宰相、大将军和权势炙人的杨素。在几年之后，不仅自己尸骨无存，而且子孙灭绝。这样悲惨的结局，在中国历史上确不多见，真是：天道悠悠，报应不爽。