杨素跻身历史舞台，最初凭的是武人身份立下的军功。
作为大将，他的统兵作战方法十分独特残忍，每次大战前都要在军中借故找一些犯错的士兵在阵前斩首，多者百余人，少者也不下十几个。还未开打，己方先流血盈前，人头齐刷刷落地，杨素却眉头都不皱一下，照样谈笑自若，而他这样做的目的竟然是为了鼓舞士气。
两军对阵，他从不指挥整军压上，而是先派一二百人上去厮杀，不能取胜而败下阵来者，无论剩下多少人，立刻全部斩首于阵前。继而再派几百人上去厮杀，不能取胜的再全部斩首，直到取胜为止。
这种极为罕见的战法，历代兵法中唯有《尉缭子兵法》提过，但将之用于实战的，仅杨素一人。这种战法历代以来虽一直为人所抨击，然而却令杨素历经百战，罕有一败，因为只有抱定必死的决心，才能激发内心的战斗意志。
这种冷酷的战法得到大唐名将李靖一定程度的认可，他在自己的兵法《李卫公兵法》中曾如是道：“古之名将，十卒而杀其三者，威振于敌国;杀其一者，令行于三军。”当然李靖有没有将这种战法引入自己的实战中不得而知，但李靖在大唐一朝往往凭少数人马即能取得巨大胜利却是不争的事实。
凭着这种残忍的战法，杨素统兵战无不胜，甚至在跟突厥这种天生的骑兵作战时都豪气冲天，打得突厥达头可汗的十万铁骑号哭而去。
凭借战功的不断累积，杨素很快升到尚书右仆射(相当于右丞相)的位置，与隋朝第一名臣高颎共掌朝政，成为朝臣中的二号人物。然而，尽管打仗厉害，但治国理民远非其长，政务方面远远不如高颎。从这个时候开始，为了谋求更高、更荣盛的地位，杨素努力钻营，大耍奸计，由“功臣莫居其右”的一时人杰，来了个华丽转身，向“致国于倾危”之一代奸雄转变。
翻开《隋书》，有个现象令人不得不关注，那就是在列传中排名靠前的十几号人，几乎没有一个落得善终，究其原因，乃是因为隋文帝虽有雄才大略，却一向刻薄猜忌，加上大隋江山本是从北周的孤儿寡母手中夺来的，名不正言不顺，故此隋文帝向来对群臣防范很深，晚年猜忌尤重，一干重臣，先后以各种小毛病或斩或黜，最后连视若亲子的“真宰相”高颎也无法避免。功臣之中，唯独杨素没有遭到厄运，而且一路高升，成为头号权臣，其个中原因，不得不察。
史载，杨素当政后，朝臣中稍有不肯附和者，马上就会遭到杨素的暗中陷害或排挤。很多同僚之所以下马，背后总能看到杨素施展黑手在运作，更有一些人，因为十几年前一些鸡毛蒜皮的小事得罪过杨素，也被当权后的杨素找到机会公报私仇、打压报复。
从隋朝名将史万岁之死，可瞧出杨素行事之阴狠毒辣。
史万岁曾作为杨素的副手参与平定江南的叛乱，因战功卓著得到高升，后来突厥犯塞，他被授予跟杨素等同的军权统兵出战，立下比杨素高得多的军功。杨素忌其功劳在己之上，便向隋文帝献谗说其实突厥人早就投降了，史万岁完全是为了邀功而向毫无准备的突厥人进攻，结果史万岁不仅有功不赏，反而在隋文帝心里留下了恶劣的印象。随后，借着隋朝太子杨勇被废一事，杨素假称史万岁没有在朝堂上候旨，而是跑去拜谒东宫。是时隋文帝正在追查太子余党，一听此言，怒火攻心，立即给史万岁定了一个“怀诈要功”的罪名，命人当堂将其打死。
史万岁之死消息传出，天下知与不知之人莫不为其鸣冤流涕，可见杨素之“奸”已经到了怎样一个地步。然而，杨素一生最大的罪名并非上述这些案例，而是改易隋朝太子一事。
隋文帝与独孤皇后一共生有五个儿子，长子杨勇在隋朝立国之初即被立为太子，后来的隋炀帝杨广排行第二，帝位本没有他的份儿，但他通过与权臣杨素勾结，终于将哥哥搞下马，夺得帝位。
杨勇当了20年太子，并无大过错，就是花钱稍微大手大脚了些，他一生最大的缺憾即是碰到了一个极品老娘。独孤皇后奇妒无比，不但不让皇帝老公染指其他女人，连臣子的小妾生了儿子都能惹得她醋意大发，因此，因为太子杨勇基本上和正妻没什么感情，反而跟小妾们生了一堆儿女，杨勇在她眼里简直成了荒淫好色的代名词。
隋文帝这个著名的“妻管严”向来是唯老婆马首是瞻，加上他本人一贯勤俭节约，所以对杨勇的很多做法也看不惯，因此对长子杨勇的印象越来越差。
作为杨广一党的权臣杨素，抓住这难得的空隙，不停地诋毁太子杨勇，不停地在隋文帝耳边聒噪杨勇这个不是那个不是;另一边又不停地暗示晋王杨广如何贤能友好。久而久之，杨勇便成了比刘阿斗还昏庸、比陈叔宝还败家，将来早晚会断送大隋江山的不合格储君，而晋王杨广则毫无疑问成了唯一适合接替他的人选。
600年，隋朝改易太子一事终于尘埃落定，太子杨勇被废为“庶人”，杨广正式做了太子。历史，在杨素的一手操纵下，狠狠地拐了个弯。
杨素在这个过程中所扮演的不光彩角色，注定了他今后一生都只能被钉在历史的耻辱柱上，被千秋万代人所唾骂。唐太宗曾在一道《谕侍臣绝谗构论》中痛斥杨素：“隋太子勇抚军监国，凡二十年，早有定分。杨素欺主罔上，贼害良民，使父子道灭，逆乱之源，自此开矣。”
杨广做了太子，他的其他兄弟马上有人表示不服，杨素又出面罗织罪名，将三弟蜀王杨秀废为庶人。
满朝文武，除了驸马梁毗还敢上书弹劾，已无一人敢出头，梁毗怒斥：“太子、蜀王罪废之日，百僚无不震竦，唯素扬眉奋肘，喜见容色，利国家有事以为身幸。”然而，杨素权势已极，终无法被撼动半分。
最后，连隋文帝之死，都与杨素挂上关系。
关于隋文帝之死，史书虽然闪烁其词，并没有明言说是被杨广所弑。但是综合来看，杨广一党终究难逃嫌疑，而作为杨广首席帮凶的杨素，一直被视作具体行动者，受到万世之唾骂，武则天诏书里说他“生为不忠之人”指的正是此事。
在喜欢给历史人物脸谱化的中国，杨素的白脸形象似乎已难再改，然而，在拨开历史的层层迷雾之后，我们又发现，杨素似乎长有另外一副完全不同的脸谱，他宽容大度、不拘小节，不但是善于挖掘人才的伯乐，更是接连促成几段爱情佳话的好人，隋唐之际产生的“破镜重圆”、“风尘三侠”、“牛角挂书”等几段佳话皆与他有关。
