对本朝有大功的杨素，隋炀帝表面上待遇优厚极其信任，内心却十分忌惮。杨素临终，隋炀帝派人嘘寒问暖探视病情，把皇帝御用药品赏赐给杨家，似乎很关心，暗中向御医打探病情，唯恐杨素不能快快死掉。杨素很清楚皇上对他的态度，所以，知道自己病势沉重之后他连药都不吃。
杨素去世以后，葬礼隆重，如此而已。高级官员薛道衡以文学出名，却因为写了怀念隋文帝杨坚的文章，发表了怀念名臣高颎的言论，治罪赐死。隋炀帝曾对虞世南讲过：“我最讨厌别人谏诤了，尤其是地位已经很高却还想通过进谏博取名声的人。就算地位卑下的人，我多少会容忍一点，但也决不会因为进谏就给他好的前程。”
大业十二年(616)，形势已经大乱，隋炀帝仍然极端厌恶讲真话的人，根本不愿意听取真实情况的报告。反对他此时巡幸江都的人都没有好下场，赵才被押，任宗被杀。以盗贼充斥进谏的崔民象，甚至被残忍地剔掉下巴然后处斩。
此后，敢于进谏的人当然越来越少。所以，隋炀帝时期会发生杨素的儿子杨玄感起兵反隋的重大事件，参与者很多都是隋朝的高干子弟，这足以说明隋炀帝在政策上、政治上出了大问题，造成了统治集团上层的严重分裂。从社会底层到社会高层都对当今皇上深怀不满充满怨恨，全国形势即将彻底崩溃，第一责任人自然只能是隋炀帝杨广。
