广与安州总管宇文述素善，欲述近已，奏为寿州刺史。广尤亲任总管司马张衡，衡为广画夺宗之策。广问计于述，述曰：“皇太子失爱已久，令德不闻崐于天下。大王仁孝著称，才能盖世，数经将领，频有大功；主上之与内宫，咸所钟爱，四海之望，实归大王。然废立者国家大事，处人父子骨肉之间，诚未易谋也。然能移主上意者，唯杨素耳，素所与谋者唯其弟约。述雅知约，请朝京师，与约相见，共图之。”广大悦，多赍金宝，资述入关。

　　杨广与安州总管宇文述素来要好，他想拉拢宇文述，于是奏请任命宇文述为寿州刺史。杨广尤其亲近信任总管司马张衡，张衡为杨广筹划谋取皇太子地位。杨广向宇文述请教计策，宇文述说：“皇太子失去皇帝的喜爱已经很久了，杨勇的德行不为天下人所了解。大王以仁孝著称，才能盖世，您几次被任命为统帅军队的将领，屡建大功；皇帝与皇后都对您非常钟爱，四海之内的声望，实际上已为大王所有。但是太子的废立是国家大事，而我处在你们父子骨肉之间，实在不好谋划。然而能使皇帝改变主意的人只有杨素，能与杨素商量筹划的人只有他弟弟杨约。我很了解杨约，请您派我去京师，与杨约相见，一起筹划这件事。”杨广非常高兴，送给宇文述许多金宝，资助他入关进京。

　　约时为大理少卿，素凡有所为，皆先筹于约而后行之。述请约，盛陈器玩，与之酣畅，因而共博，每阳不胜，所赍金宝尽输之约。约所得既多，稍以谢述，述因曰：“此晋王之赐，令述与公为欢乐耳。”约大惊曰：“何为尔？”述因通广意，说之曰：“夫守正履道，固人臣之常致；反经合义，亦达者之令图。自古贤人君子，莫不与时消息以避祸患。公之兄弟，功名盖世，当途用事有年矣，朝臣为足下家所屈辱者，可胜数哉！又，储后以所欲不行，每切齿于执政；公虽自结于人主，而欲危公者固亦多矣！主上一旦弃群臣，公亦何以取庇！今皇太子失爱于皇后，主上素有废黜之心，此公所知也。今若请立晋王，在贤兄之口耳。诚能因此时建大功，王必永铭骨髓，斯则去累卵之危，成太山之安也。”约然之，因以白素。素闻之，大喜，抚掌曰：“吾之智思殊不及此，赖汝启予。”约知其计行，复谓素曰：“今皇后之言，上无不用，宜因机会早自结托，则长保荣禄，传祚子孙。兄若迟疑，一旦有变，令太子用事，恐祸至无日矣！”素从之。

　　杨约当时是大理少卿，杨素凡是要做什么事，都先和杨约商量后再做。宇文述邀请杨约，陈设了许多玩物器皿，和他一起畅饮，一起赌博。每次宇文述都装作下输了，把杨广所送的金宝都输给了杨约。杨约得到很多金宝，就向宇文述略表谢意。宇文述就说：“这些金宝是晋王杨广的赏赐，让我与你一起玩乐的。”杨约大吃一惊，说：“为什么？”宇文述就转达了杨广的意思，劝说杨约：“恪守常规固然是人臣的本份，但是违反常规以符合道义，也是明智之人的期望。自古的贤人君子，没有不关注世情以避免祸患的。你们兄弟功名盖世，执掌大权有多年了，朝臣中被您家侮辱的人数得清吗？还有，皇太子往往想做的事而不能做到，常常切齿痛恨当政的大臣；您虽然主动地结好于皇上，但是要危害您的人本来就很多啊！皇上一旦弃群臣而去，您又靠谁来庇护呢？现在皇太子不为皇后所喜爱，皇上平素就有废黜皇太子的意思，这您是知道的。现在要是请皇上立晋王杨广为太子，那就全凭您哥哥的嘴了。要是真能在这时建立大功，晋王必定永远将这事铭记心中，这样您就可以去掉累卵之危，而地位象泰山一样的安全稳固了。”杨约深以为然，就将此话告诉了杨素。杨素听了，非常高兴，拍着手说：“我的智慧思虑远远达不到这儿，全仗你启发了我。”杨约知道他的计策成功了，又对杨素说：“现在皇后的建议，皇帝无不采纳。应当趁机会早早自动结交依靠皇后，就会长久地保住荣华富贵，并传给子孙后代。兄长若是迟疑，一旦情况发生变化，太子执掌朝政，恐怕灾祸很快就要临头了！”杨素听从了杨约的话。

　　后数日，素入侍宴，微称“晋王孝悌恭俭，有类至尊。”用此揣后意。后泣曰：“公言是也！吾儿大孝爱，每闻至尊及我遣内使到，必迎于境首；言及违离，未尝不泣。又其新妇亦大可怜，我使婢去，常与之同寝共食。岂若地伐与阿云对坐，终日酣宴，昵近小人，疑阻骨肉！我所以益怜阿者，常恐其潜杀之。”素既知后意，因盛言太子不才。后遂遗素金，使赞上废立。

　　过了几天，杨素进入皇宫侍奉宴会，他婉转地说：“晋王杨广孝悌恭俭，象他父亲一样。”用此话来揣摩独孤皇后的意思。独孤皇后流着泪说：“您的话说得对！我儿子阿非常孝敬友爱，每次听到皇上和我派宫内的使者去，必定亲自远迎；说到远离双亲，没有一次不落泪的。还有他的妻子也很令人怜爱，我派婢女去她那里，她常与婢女同寝共食，哪象地伐和阿云面对面地对坐崐，整天沉溺于酒宴，亲近小人，猜疑防备骨肉至亲！所以我愈加爱怜阿，常常怕地伐将他暗害。”杨素已经了解了皇后的意思，因此就竭力地说太子杨勇不成器，于是皇后就给杨素财物，让他辅佐文帝进行废立太子之事。

　　勇颇知其谋，忧惧，计无所出，使新丰人王辅贤造诸厌胜；又于后园作庶人村，室屋卑陋，勇时于中寝息，布衣草褥，冀以当之。上知勇不自安，在仁寿宫，使杨素观勇所为。素至东宫，偃息未入，勇束带待之，素故久不进以激怒勇；勇街之，形于言色。素还言：“勇怨望，恐有他变，愿深防察！”上闻素谮毁，甚疑之。后又遣人伺觇东宫，纤介事皆闻奏，因加诬饰以成其罪。

　　杨勇非常清楚这个阴谋，感到忧虑恐惧，但是想不出办法来。他让新丰人王辅贤制做了巫术诅咒之物，又在其府邸后园建造了一个平民村，村里的房屋低矮简陋，杨勇时常在其中睡觉休息，他身穿布衣，铺着草褥子，希望以此来避灾。文帝知道杨勇为此不安，在仁寿宫派杨素去观察杨勇的行为。杨素到了东宫，停住不进，杨勇换好衣服等待杨素进来，杨素故意很久不进门，以此激怒杨勇；杨勇怀恨杨素，并在言行上表现出来。杨素回去报告：“杨勇怨恨，恐怕会发生变故。希望陛下多多防备观察。”文帝听了杨素的谗言和诋毁之词，对杨勇更加猜疑了。独孤皇后又派人暗中探察东宫，细碎琐事都上报给文帝，依据诬陷之词而构成杨勇的罪状。

　　上遂疏忌勇，乃于玄武门达至德门量置候人，以伺动静，皆随事奏闻。又，东宫宿卫之人，侍官以上，名籍悉令属诸卫府，有勇健者咸屏去之。出左卫率苏孝慈为淅州刺史，勇愈不悦。太史令袁充言于上曰：“臣观天文，皇太子当废。”上曰：“玄象久见，群臣不敢言耳。”充，君正之子也。

　　于是文帝就对杨勇疏远、猜忌，竟然在玄武门到至德门之间的路上，派人观察杨勇的动静，事无巨细都要随时上报。另外，东宫值宿警卫侍官以上的，名册都令归属各个卫府管辖，勇猛矫健的人都要调走。左卫率苏孝慈被调出任命为淅州刺史，杨勇愈加不高兴。太史令袁充对文帝说：“我观察天象，皇太子应当废黜。”文帝说：“玄象出现很久了，群臣不敢说啊。”袁充是袁君正的儿子。

　　晋王广又令督王府军事姑臧段达私赂东宫幸臣姬威，令伺太子动静，密告杨素；于是内外喧谤，过失日闻。段达因胁姬威曰：“东宫过失，主上皆知之矣。已奉密诏，定当废立；君能告之，则大富贵！”威许诺，即上书告之。

　　晋王杨广又命令姑臧人督王府军事段达私下贿赂东宫受宠信的官吏姬威，让他暗中观察太子的动静，密报给杨素。于是朝廷内外到处是对杨勇的议论诽谤，天天可以听到杨勇的罪过。段达趁机威胁姬威说：“东宫的过失，皇上都知道了。我已得到密诏，一定要废黜太子。你要是能告发杨勇的过失，就会大富大贵！”姬威答应了，随即就上书告发杨勇。

　　秋，九月，壬子，上至自仁寿官。翌日，御大兴殿，谓侍臣曰：“我新还京师，应开怀欢乐；不知何意翻邑然愁苦！”吏部尚书牛弘对曰：“臣等不称职，故至尊忧劳。”上既数闻谮毁，疑朝臣悉知之，故于众中发问，冀闻太子之过。弘对既失旨，上因作色，谓东宫官属曰：“仁寿宫此去不远，而令我每还京师，严备仗卫，如入敌国。我为下利，不解衣卧。昨夜欲近厕，故在后房恐有警急，还移就前殿，岂非尔辈欲坏我家国邪！”于是执太子左庶子唐令则等数人付所司讯鞠；命杨素陈东宫事状以告近臣。

　　秋季，九月，壬子（二十六日），文帝从仁寿宫归来，第二天到大兴殿，他对侍臣说：“我刚返回京师，应该是开怀畅饮寻求欢乐，不知为什么变得抑郁愁闷？”吏部尚书牛弘回答：“是臣等不称职，使陛下忧愁劳累。”文帝已经多次听到对杨勇的诬陷诋毁，怀疑朝臣们都知道了，因此向朝臣们发问，希望听到太子的过失。牛弘的回答不合文帝的意思，于是文帝脸色一变，对东宫的官吏僚属说：“仁寿宫离这里不远，但是我每次返回京师都得严格准备仪仗保卫，就象进入敌国一样。我因为拉肚子，不敢脱衣服睡觉，昨天夜里要上厕所，因为在后边的房间恐怕有紧急之事，就返回前殿居住。难道不是你们这些人要危害我的家国吗！”于是把太子左庶子唐令则等几个人抓起来交付有关部门进行审讯，命令杨素把东宫的情况告诉近臣。

　　素乃显言之曰：“臣奉敕向京，令皇太子检校刘居士余党尽。太子奉诏，作色奋厉，骨肉飞腾，语臣云：‘居士党尽伏法，遣我何处穷讨！尔作右仆射，委寄不轻，自检校之，何关我事！’又云：‘昔大事不遂，我先被诛，今崐作天子，竟乃令我不如诸弟，一事以上，不得自遂！’因长叹回视云：‘我大觉身妨。’”上曰：“此儿不堪承嗣久矣，皇后恒劝我废之。我以布衣时所生，地复居长，望其渐改，隐忍至今。勇尝指皇后侍儿谓人曰：‘是皆我物。’此言几许异事！其妇初亡，我深疑其遇毒，尝责之，勇即怼曰：‘会杀元孝矩。’此欲害我而迁怒耳。长宁初生，朕与皇后共抱养之，自怀彼此，连遣来索。且云定兴女，在外私合而生，想此由来，何必是其体胤！昔晋太子取屠家女，其儿即好屠割。今傥非类，便乱宗。我虽德惭尧、舜，终不以万姓付不肖子！我恒畏其加害，如防大敌；今欲废之以安天下！”

　　于是杨素就公开地说：“我奉旨到京师，命令皇太子查核刘居士的余党。太子接到诏书，脸色大变，表情非常愤怒，他对我说：‘刘居士的余党都已伏法，让我到哪里去追究呢？你作为右仆射，责任不轻，你自己去查核此事吧，关我什么事！’又说：‘过去的禅让大事要是不顺利，我先得被杀，如今父亲作了天子，居然让我还不如几个弟弟，凡事都不能自作主张！’他就长叹说：｀我觉得太不自由了。’”文帝说：“这个儿子我很早就觉得不能够继承皇位了，皇后老劝我废黜他，我认为他是我作平民时生的，又是长子，希望他能够逐渐改正错误，我已克制忍耐到现在了。杨勇曾经指着皇后的侍女对人说：‘都是我的’。这话说的是多么地奇怪。他的妻子元妃刚死时，我很怀疑她是被毒死的，曾经责问过杨勇，他就怨恨地说：‘应当杀掉元孝矩。’这是想要害我而迁怒他人。长宁王刚出生时，我和皇后一起抱来抚养他，杨勇却心中另有想法，连连派人索要。况且云定兴的女儿，是云定兴在外面私合而生，想到她的出身来历，由何能说必定是他的子女呢？以前晋太子娶了屠户的女儿，他的儿子就喜欢屠宰之事。如今他们不是咱们这一类人，会乱了宗祠。我虽然德行不及尧舜，但终归不能把天下百姓交付给品行不端的儿子！我总担忧他会谋害我，对他就象防备大敌一样，现在我打算废掉他以安定天下。”