杨素因屡立战功，再加上他为人强悍阴险。有一套强化自己权势的手段，因而能长期作为最显贵的权臣而左右朝政。《隋书·杨素传》称“素之贵盛，近古未闻”，并非夸张。
杨素不仅本人身居高位，而且其家满门贵显。“时素贵宠日隆，其弟约、从父文思、弟文纪，及族父异，并尚书列卿。诸子无汗马之劳，位至柱国、刺史”，“亲戚故吏，布列清显”。真可谓“一人得道，鸡犬升天。”
杨素为人又极其奢侈贪财，这在历史上也是罕见的。他“家僮数千，后庭妓妾曳绮罗者以千数。第宅华侈，制拟宫禁”。他本来已豪富无比，但仍一味营求不止，“素负冒财货，营求产业，东、西二京，居宅侈丽，朝毁夕复，营缮无已，爰及诸方都会处，田宅以千百数”。故“时议以此鄙之”。
杜光庭所撰《虬髯客传》曾描写了杨素的一个殊色妓女私奔李靖的故事。据此妓女说，杨素晚年诸妓“去者众矣，彼亦不甚逐也”，于此也可见其妓妾之多。虽然杜光庭之文属于传奇，此事未必完全属实，但这起码说明杨素之豪侈已为世人所公认，因而由此生出种种带有传奇色彩的故事。
随着“宠贵日隆”，本来生性傲慢的杨素，到后来愈加骄横。满朝文武，概不放在眼里。尤其是杨广为帝之后，杨素更是飞扬跋扈。他自恃拥立之功，见炀帝多呼为“郎君”。有时侍宴内殿，宫人因不慎覆酒污素之衣，杨素则当着炀帝的面大发雷霆，叱左右将其引下殿堂，加以痛打。对皇帝尚且如此，其他人更可想而知了。
“顺我者昌，逆我者亡；结党营私，排除异己”。这是一切权奸的共同特点，而杨素尤为典型。早在文帝在世之时，不畏权势的大理卿梁毗“见杨素专权，恐为国患”，曾弹劾杨素说；“窃见左仆射越国公素，幸遇愈重，权势日隆，阶绅之徒，属其视听。忤旨者严霜夏零，阿旨者甘雨冬澍，荣枯由其唇吻，废兴候其指麾；所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。”梁毗将杨素比作“卒殄汉纪”的王莽、“终倾晋祚”的桓玄。《资治通鉴》评论杨素说：“既废一太子及一王，威权盛。朝臣有违忤者，或至诛夷；有附会及亲戚，虽无才用，必加进擢，朝廷靡然，莫不畏附。”
《资治通鉴》上文所提到的“一王”，乃指文帝之子、蜀王杨秀。杨秀“容貌魁伟，有胆气，好武艺。”及太子杨勇以谗被废、晋王杨广为太子，“秀意甚不平”。杨广恐秀为后患，“阴令杨素求其罪而谮之”，终使杨秀被废为庶人，幽禁于内侍省，并不许与妻、子相见。其状也很悲惨。
治书侍御史柳彧，为人刚正不阿。当初，杨素曾因事被遣敕送御史台。杨素仗恃自己地位尊贵，到御史台后坐于柳彧床上。柳彧从外来，端笏整容，严肃地对他说：“奉敕治公之罪！”杨素才急忙从床上走下。柳彧据案而坐，令杨素立于庭，辨诘事状。杨素因此恨之。及蜀王杨秀被废，杨素便借机报复柳彧，以杨秀曾向柳彧求《治道集》一书为口实，奏劾柳彧以内臣交通诸侯，结果使柳彧被除名为民，配戍怀远镇。
太平公史万岁为隋朝名将，屡立战功。后来，大破入侵的突厥，“杨素害其功”，对文帝说：“突厥本降，初不为寇，来塞上畜牧耳。”于是文帝不予论功行赏。史万岁意不平，“数抗表陈状”。时文帝已废杨勇太子，正在穷纠东宫党与。文帝向杨素问史万岁在何处，准备召见。当时，史万岁实在朝堂，杨素明明知道，可他为了激怒文帝，竟阴险地谎称：“万岁谒东宫矣！”文帝信以为真，勃然变色，令人迅召史万岁。时万岁属下将士因有功不赏而在朝堂称冤者数百人。此时万岁不知已被杨素所谮，见到文帝后，尚“词气愤厉”地抗言“将士有功，为朝廷所抑”，可文帝正在为他“谒东宫”一事发火，哪有心思听这些，结果盛怒之下，“令左右击杀之”。而史万岁实不知自己究竟因何而死，竟连申辩的机会也没有得到。杨素就这样很轻松地以一句谎言便要了一位勋臣的性命，除掉了一个他所嫉妒的人。对史万岁之死，“天下共冤惜之”。
杨素与鸿胪少卿陈延有嫌隙，伺机报复，苦于找不到陈延的罪名，但他利用文帝“喜怒不恒”的性格，在文帝心绪恶劣最易发脾气的时刻奏报陈延所辖之蕃客馆“庭中有马屎，又从仆于毡上樗蒲（一种类似掷骰子的游戏）”。结果，文帝大怒，“主客令及樗蒲者皆杖杀之，棰陈延几死”。
综上可见，杨素与一般粗直武将不同。他胆大心细，善于捕捉各种有利的时机来谗害倾陷他人，他是一个强横而又非常狡诈乖巧的人。