灭陈后，杨素以功封越国公。后又为尚书右仆射，与高同掌国政。仁寿元年（601年），代高为尚书左仆射，专掌国政。
当时太子杨勇失爱于独孤皇后，杨勇之弟晋王杨广伺机谋取太子之位。杨广“性敏慧，沈深严重”，素怀野心。他早就觊觎太子之位，梦想登九五之尊。看到杨勇失宠，杨广“弥自矫饰”，想方设法博取文帝和独孤皇后的好感。他“惟与萧妃居处，后庭有子皆不育，后由是数称广贤。大臣用事者，广皆倾心与交。上及后每遣左右至广所，无贵贱，广必与萧妃迎门接引，为设美馔，申以厚礼；婢仆往来者，无不称其仁孝。上与后尝幸其第，广悉屏匿美姬于别室，惟留老丑者，衣以缦纟采，给事左右；屏帐改用缣素；故绝乐器之弦，不令拂去尘埃。上见之，以为不好声色，还宫，以语侍臣，意甚喜，侍臣皆称庆，由是爱之特异诸子”。为了谋取太子之位，杨广还在独孤皇后面前进杨勇的谗言，甚至说杨勇要杀害他。独孤皇后由此对杨勇更为不满。但是废长立少乃冒天下之大不韪之事，杨勇虽失宠，帝、后亦不欲轻行废立之计，而大臣们更是无人敢提此议。
杨广急不可耐，问计于他的亲信安州总管宇文述。宇文述说：“皇太子失爱已久，令德不闻于天下。大王仁孝著称，才能盖世，数经将领，频有大功；主上之与内宫，咸所钟爱，四海之望，实归大王。然废立者国家大事，处人父子骨肉之间，诚未易谋也。然能移主上意者，惟杨素耳。素所与谋者惟其弟约。述雅知约，请朝京师，与约相见，共图之”。
杨约，为杨素异母弟。少儿时，曾登树坠地，生殖器官被树杈所伤，后来便做了宦官。文帝受禅，授约长秋卿。后官至邵州刺史、宗正少卿、大理少卿，颇见信任。杨约“性如沉静，内多谲诈”。杨素“凡有所为，必先筹于约而后行之”。所以宇文述建议通过杨约来说服杨素。杨广欣然同意。宇文述受杨广之遣以大量金宝贿赂杨约，并转达杨广之意说：“夫守正履道，固人臣之常致，反经台义，亦达者之令图。自古贤人君子，莫不与时消息，以避祸患。公之兄弟，功名盖世，当涂用事，有年岁矣。朝臣为足下家所屈辱者，可胜数哉！又储宫以所欲不行，每切齿于执政。公虽自结于人主，而欲危公者，固亦多矣。主上一旦弃群臣，公亦何以取庇？今皇太子失爱于皇后，主上素有废黜之心，此公所知也。今若请立晋王，在贤兄之口耳。诚能因此时建大功，斯则去累卵之危，成太山之安也。”杨约亦以为然。
杨约随即将杨广之意及自己的想法告诉给杨素，杨素听后非常高兴，他以恍然大悟的神态将手一拍，说道：“我的智慧思虑怎么没有及此？这多亏你的提醒和启发！”自私心和权力欲促使杨素当即接受了杨广之托，并马上着手实施这一废勇立广的阴谋。至于这样做会给国家社稷带来什么影响，杨素则根本没有去想。
数日后，杨素入宫侍宴。他首先试探独孤皇后之意，说：“晋王孝悌恭俭，很像皇上至尊。”此语立即在独孤皇后心中激起了强烈的反应，她哭着说：“公所言甚是，我儿晋王，最为孝爱，每闻皇上及我所遣的内使到，必远出迎接。而一谈到与我们的离别之情，又未尝不泣。而且他的新妇也很可爱，我的婢使去，她常与之同寝共食，哪里像砚地伐（杨勇小字）与阿云那样终日对坐酣宴，亲昵小人，疑阻骨肉！我所以更加怜爱阿么（杨广小字），就是因为经常担心他被砚地伐暗害。”
杨素见独孤皇后如此偏爱杨广、厌恶杨勇，便趁势火上浇油，大讲杨勇的坏话，“盛言太子不才”，独孤皇后因而对杨勇更为忿恨，于是她决心废黜太子。为了遂此心愿，她又赠送了杨素金银，希望他赞助皇上早行废立。
杨勇了解到他们的阴谋，十分忧惧，但又计无所出。为此，他曾使方士施行诅咒之术，希冀以此得到保佑。又在后园作“庶人村”，室屋卑陋，时常于其中休息，布衣草缛，“冀以当之”。文帝知杨勇内心不安，便派杨素前去观察他的所作所为。杨素至东宫，故意迟迟不入，杨勇束带等候，见素久不至，不禁愤怒形于言表。杨素归而报告文帝说：“杨勇心怀怨望，恐有他变，愿陛下深加提防，注意探察。”这无疑是诬告杨勇有不轨谋变之迹，其用心十分毒辣。文帝性多猜忌，听到杨素对太子的潜毁，“甚疑之”，后又派人窥伺东宫情形，纤芥之事皆子奏闻。又于玄武门到至德门之间设置人员，“以伺动静，皆随事奏闻”，还将太子卫府中的勇健者悉皆裁去。
与此同时，杨广又私赂东宫幸臣姬威，令其伺太子动静，密告杨素。“于是内外喧谤，过失日闻”。杨广还使人威胁姬威说：
“东宫过失，主上皆知之矣。已奉密诏，定当废立；君能告之，则大富贵。”于是姬威便上书诬告杨勇。这样，终于诬饰以成太子之罪。
开皇二十年（600年）九月某日，文帝御大兴殿，执太子左庶子唐令则等数人付所司鞠讯；命杨素向近臣陈述东宫事状。杨素高声说道：“臣奉敕向京，令皇太子检校刘居士余党。太子奉诏，作色奋厉，骨肉飞腾，语臣云：‘居士党尽伏法，遣我何处穷讨尔！作右仆射，委寄不轻，自检校之，何关我事！’又云：‘昔大事不遂，我先被诛，今作天子，竟乃令我不如诸弟，一事以上，不得自遂！’因长叹回视云：‘我大觉身妨。’”
文帝不仅性多猜忌，而且一向专横苛刻，容不得他人对自己有任何一点怨望和指责，为此曾有不少大臣因进谏不慎而被杖死或鞭死于朝堂之上。杨素所言，看似琐屑，但这都足以激起文帝的愤怒，因而，他刚听完杨素的陈述，便马上断然作出了“此儿不堪嗣久矣”的结论，并表示悔不该没早听独孤皇后劝其废黜杨勇之言。最后，他提出：“我虽德惭尧、舜，终不以百姓付不肖子！我恒畏其加害，如防大敌；今欲废之以安天下！”尽管也有大臣劝谏，但文帝全然不听，并随后收禁了杨勇、杨勇诸子及其部分“党与”。
十月某日，文帝戎服陈兵，御于武德殿，召集百官诸亲，引杨勇及其诸子列于殿庭。命人宣诏，正式废黜杨勇的太子之位及其子女的王、公主封号。杨勇再拜而言道：“臣当伏尸都市，为将来鉴戒；幸蒙哀怜，得全性命。”言毕，“泣下流襟，既而舞蹈而去”。见此情形，诸臣莫不为之同情和怜悯。文帝尽管忌刻成性，毕竟尚有舐犊之情，因而也不禁为之动容，感到一阵心酸。
看到文帝的神情变化，杨素又大声进言道：“俗语云：‘蝮蛇螫手，壮士断腕。’废黜太子，实同去一蝮蛇，陛下不宜再留意于他！”杨素为谋私利，千方百计离间父子骨肉之亲，至此又以蝮蛇为喻，必欲文帝父子恩断情绝，实乃太甚，其心之狠毒可知。
杨勇被废后，太子之位自然是非杨广莫属了。杨广喜不自胜，杨素也心满意足，二人弹冠相庆。废勇立广，这是隋朝政治生活中的一个重大事件。后来的历史事实证明，杨广是一个典型的淫暴之君。隋的短祚与杨广是分不开的。而杨广之得立，又是杨素极力促成的，因而从这个意义上说，杨素是加速隋朝灭亡的重要人物之一。只此废勇立广一事，便足以抵销他的所有战功。杨勇贤能与否，当然尚缺少历史的检验，但据史书的一些记载来看，他显然强于杨广。据当时经常接触杨勇的太干洗马李纲的看法，“太子性本中人，可与为善，可与为恶”。如果“择正人辅之，足以嗣守鸿基”。因而李纲过去虽然谏责过杨勇的过失，但当文帝决定废黜杨勇之时，他却持坚决反对的态度。李纲对杨勇的评价应该说是比较客观的。《资治通鉴》谓“勇性宽厚，率意任情，无矫饰之行”，这方面恰与杨广相反。另外，杨勇对军国政事也有一定见解，“初，上使太子勇参决军国政事，时有损益，上皆纳之”。后来，杨勇虽不为文帝、独孤皇后所喜，被杨素“舞文巧诋，锻炼以成狱”，但实际上也并未能列出什么明显的劣迹。正因为废非其罪，故杨勇被囚于东宫后“频请见上申冤”。由于杨广“遏之不得闻”，勇于是升树大叫，声闻帝所，“冀得引见”。而“杨素因言勇情志错乱，为癫鬼所著，不可复收。帝以为然，卒不得见。由于杨素的阻挠，杨勇终于冤沉海底。后人不能不为杨勇和隋朝的命运叹息。