初，杨素尝以少谴敕送南台，命治书侍御史柳治之。素恃贵，坐床。 从外来，于阶下端笏整容谓素曰：“奉敕治公之罪！”素遽下。据案而坐，立素于庭，辨诘事状。素由是衔之。蜀王秀尝从求李文博所撰《治道集》，与之；秀遗奴婢十口。及秀得罪，素奏以内臣交通诸侯，除名为民，配戍怀远镇。当初，杨素曾经因犯小过被敕命送到御史台，文帝命令治书侍御史柳将杨素治罪。杨素依恃地位显贵，坐在柳的坐榻上。柳从外面进来，在台阶下端举笏板，神色庄重地对杨素说：“我奉皇帝命令要治您的罪！”杨素急忙退下来。柳手扶桌案而坐，让杨素站在庭堂上，辨别查问杨素的过失。杨素因此对柳怀恨在心。蜀王杨秀曾经向柳要李文博撰写的《治道集》，柳给了杨秀；杨秀送给柳十名奴婢。到杨秀获罪，杨素便奏报文帝说柳作为内臣与诸侯结交往来，因此将柳除名为民，发配到怀远镇去戍边。

　　帝使司农卿赵仲卿往益州穷按秀事，秀之宾客经过之处，仲卿必深文致法，州县长吏坐者太半。上以为能，赏赐甚厚。

　　文帝派司农卿赵仲卿到益州彻底追查杨秀的事情，杨秀宾客曾经到过的地方，赵仲卿必定苛刻地以法律条文追究并严厉治罪，那些州县长吏大半都受牵连而被定罪。文帝认为赵仲卿能干，赏赐他很丰厚的财物。

　　久之，贝州长史裴肃遣使上书，称：“高以天挺良才，元勋佐命，为众所疾，以至废弃；愿陛下录其大功，忘其小过。又二庶人得罪已久，宁无革心！愿陛下弘君父之慈，顾天性之义，各封小国，观其所为：若能迁善，渐更增益；如或不悛，贬削非晚。今者自新之路永绝，愧悔之心莫见，岂不哀哉！”书奏，上谓杨素曰：“裴肃忧我家事，此亦至诚也。”于是征肃入朝。太子闻之，谓左庶子张衡曰：“使勇自新，欲何为也？”衡曰：“观肃之意，欲令如吴太伯、汉东海王耳。”肃至，上面谕以勇不可复收之意而罢遣之。肃，侠之子也。

　　很久以后，贝州刺史裴肃派使者给文帝上书说：“高因有也天生的突出才能，又是开国元勋，佐命为大臣，受到人们的妒忌以至于被废黜不用。希望陛下记着高的大功，忘掉他的小过。再有，杨勇、杨秀两个庶人获罪已经很久了，难道他们没有洗心革面的心意吗？希望陛下弘杨君父的慈爱，顾念父子天性之道，每人封个小国，观察其所做所为：如果能变好，就逐渐地改变其地位；如果仍然不悔改，贬位削爵也不晚。现在他们改过自新的路永远断绝，惭愧悔恨的心思不为人们所了解。这不是很悲哀吗？”奏表呈上去后，文帝对杨素说：“裴肃忧虑我的家事，这也是诚心诚意啊。”于是召裴肃来京师。太子杨广听说此事，对左庶子张衡说：“让杨勇悔过自新，这要干什么？”张衡说：“我看裴肃的意思，是要让他象周代吴国的太伯、汉代的东海王一样。”裴肃到了京师，文帝当面告诉他杨勇有疯鬼附身无法复原的情况，自新之事只能作罢，让裴肃走了。裴肃是裴侠的儿子。

　　杨素弟约及从父文思、文纪、族父忌并为尚书、列卿，诸子无汗马之劳，位至柱国、刺史；广营资产，自京师及诸方都会处，邸店、碾、便利田宅，不可胜数；家僮千数，后庭妓妾曳绮罗者以千数；第宅华侈，制拟宫禁；亲故吏布列清显。既废一太子及一王，威权愈盛。朝臣有违忤者，或至诛夷；有附会及亲戚，虽无才用，必加进擢；朝廷靡然，莫不畏附。敢与素抗而不桡者，独柳及尚书右丞李纲、大理卿梁毗而已。

　　杨素的弟弟杨约和叔父杨文思、杨文纪、同族的叔父杨忌都官居尚书、列卿，他们的儿子没有什么汗马功劳，却位居柱国、刺史；杨家广营资产，从京师到各地的都会，客店、磨坊、丰腴的田产和房宅不计其数，家中的奴仆有几千人，府内穿着华丽罗绮的歌妓姬妾有千人；宅第豪华奢侈，规制模仿皇宫禁城，亲戚朋友旧部下都官列显要之职。杨素已经废黜了一个太子和一个王，权势更加显赫。朝臣忤逆他们的，有人就被处死甚至夷灭全家；附会他们的人和他们的亲朋故旧，即使没有才能，也必定加官进爵。朝廷内外的人都屈服于杨家的势力，无人不畏附杨素。敢于与杨素对抗而不屈从的人，只有柳和尚书右丞李纲、大理卿梁毗而已。

　　始，毗为西宁州刺史，凡十一年，蛮夷酋长皆以金多者为豪隽，递相攻夺，略无宁岁，毗患之。后因诸酋长相帅以金遗毗，毗置金坐侧，对之恸哭，而谓之曰：“此物饥不可食，寒不可衣，汝等以此相灭，不可胜数，今将此来，欲杀我邪！”一无所纳。于是蛮夷感悟，遂不相攻击。上闻而善之，征为大理卿，处法平允。

　　当初，梁毗被任命为西宁州刺史，共十一年。西宁州的蛮夷酋长都以金子多的人为豪强，他们互相攻击掠夺，简直没有宁静的年月。梁毗对此感到忧虑。后来因为各酋长竞相送梁毗金子，梁毗把金子放在坐椅旁，对着金子痛哭道崐：“金子这东西饥不能食，寒不能衣，你们为了它相互残害，争战之事多得数不过来。现在你们送金子来，是要杀我啊！”他一点都没有接受。于是那些蛮夷人都受感动而醒悟，不再互相攻掠了。文帝听到后很高兴，任命梁毗为大理卿。梁毗执掌司法公平允正。

　　毗见杨素专权，恐为国患，乃上封事曰：“臣闻臣无有作威作福，其害于而家，凶于而国。窃见左仆射越国公素，幸遇愈重，权势日隆，绅之徒，属其视听。忤旨者严霜夏零，阿旨者甘雨冬澍；荣枯由其唇吻，废兴候其指麾；所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。天下无事，容息异图；四海有虞，必为祸始。夫奸臣擅命，有渐而来，王莽资之于积年，桓玄基之于易世，而卒殄汉祀，终倾晋祚。陛下若以素为阿衡，臣恐其心未必伊尹也。伏愿揆鉴古今，量为处置，俾洪基永固，率土幸甚！”书奏，上大怒，收毗系狱，亲诘之。毗极言“素擅宠弄权，将领之处，杀戮无道。又太子、蜀王罪废之日，百僚无不震竦，唯素扬眉奋肘，喜见容色，利国家有事以为身幸。”上无以屈，乃释之。

　　梁毗看到杨素专擅权柄，恐怕他成为国家的祸患，就给文帝上了一封密表说：“我听说臣子没有一个不是因为作威作福而危害其家并祸患于国的，我看到左仆射越国公杨素越来越得到主上的宠信，他权势日见显赫，朝中官宦都是他的耳目。忤逆他的人便遭到似严冬的霜冻在酷夏降下似的打击，阿谀奉承他的人受到的照顾有如冬天降适时的雨露，每个人的荣辱都在于杨素的口唇，升迁贬谪都得听从他的指派；他所偏爱的人都不是忠心为国的人，他所推荐提拔的人都是他的亲戚；他的子弟势力遍布各州县。天下没有什么事，还可以容忍他有私图，要是国家有什么忧患，杨素一定是祸端。奸臣专擅权力这是由来已久的。王莽经营积累了多年，桓玄在皇位变动时打下了基础；终于王莽灭掉了西汉王朝，桓玄倾覆了东晋皇位。陛下要是任命杨素为执掌朝政的大臣，我恐怕他的心未必能象殷商的伊尹一样。希望陛下能考察借鉴古今之事，酌情处置。如果大隋的基业能够永远巩固，天下百姓就很幸运了！”奏表送上去，文帝看后勃然大怒，把梁毗投入监狱，亲自审问他。梁毗恳切地说：“杨素依恃陛下的信任，任意使用权力，率领群下时，对人无缘无故地杀害。还有，太子杨勇、蜀王杨秀获罪被废黜的时候，朝中的文武百官无不震惊惶竦，只有杨素眉飞色舞，手舞足蹈，喜形于色，他视国家有难而以为自己的幸事。”文帝无法使梁毗屈服，就释放了他。

　　其后上亦疏忌素，乃下敕曰：“仆射国之宰辅，不可躬亲细务，但三五日一向省，评论大事。”外示优崇，实夺之权也。素由是终仁寿之末，不复通判省事。出杨约为伊州刺史。

　　此后，文帝也暗中疏远防忌杨素，他颁诏说：“仆射是国家的宰辅，不可事必躬亲，只要三、五天到省里去一次，评论审视一下大事即可。”表面上表示优待推崇杨素，实际上是夺下杨素的权力。自此直到仁寿末年，杨素不再完全经办省里的事务。文帝把杨约调任为伊州刺史。

　　素既被疏，吏部尚书柳述益用事，摄兵部尚书，参掌机密；素由是恶之。

　　杨素既然被疏远，吏部尚书柳述的权力越来越大，并兼理兵部尚书，参预掌握军国机密。杨素因此就憎恶柳述。