[5]宜阳公王世积任凉州总管，他的亲信安定人皇甫孝谐犯罪，执法官吏搜捕他，他逃亡来到王世积府第，王世积不收留庇护他。皇甫孝谐被抓获后，被配隶军伍，防守桂州，因此他上书告发王世积，说：“王世积曾经让道士为他看相，问自己能否富贵，道士回答说：‘你会当上国君，又将往凉州任职。’王世积的亲信对他说：‘河西是全国出精兵强将的地区，可以图谋大事。’王世积回答说：‘凉州地旷人稀，不是用武的地方。’”王世积因此被处死，任命皇甫孝谐为上大将军。

　　[6]独孤后性妒忌，后宫莫敢进御。尉迟迥女孙，有美色，先没宫中，上于仁寿宫见而悦之，因得幸。后伺上听朝，阴杀之，上由是大怒，单骑从苑中出，不由径路，入山谷间二十余里。高、杨素等追及上，扣马苦谏。上太息曰：“吾贵为天子，不得自由！”高曰：“陛下岂以一妇人而轻天下！”上意少解，驻马良久，中夜方还宫。后俟上于内，及至，后流涕拜谢，、素等和解之，因置酒极欢。先是后以高父之家客，甚见亲礼，至是，闻谓己为一妇人，遂衔之。

　　[6]独孤皇后生性妒忌，后宫的妃嫔宫女都不敢进御侍夜。原北周尉迟迥的孙女非常漂亮，过去被籍没入宫，隋文帝在仁寿宫见到她后非常喜欢，因此得到文帝的宠幸。独孤皇后趁隋文帝坐朝听政的时候，暗中派人杀害了她，文帝大为愤怒，单骑从皇宫后苑出门，也不走正路，进入山谷中二十余里。高、杨素等人驰骑追上，拦住马苦苦劝谏。隋文帝叹息道：“我贵为天子，竟如此不得自由！”高说：“陛下怎么能由于一个妇人而看轻天下？”于是文帝心中的怒气稍有缓和，立马长久，一直到半夜才回到宫中。独孤皇后也一直坐在寝宫内等候文帝，文帝回来后，皇后涕泪交流，拜谢请罪，高、杨素等人又好言劝解，于是隋文帝才高兴起来，置酒设宴欢乐。以前，独孤皇后由于高是父亲独孤信的家客，对他很客气礼敬，这件事发生后，得悉高称自己为一妇人，因此怨恨他。

　　时太子勇失爱于上，潜有废立之志，从容谓曰：“有神告晋王妃，言王必有天下，若之何？”长跪曰：“长幼有序，其可废乎！”独孤后知不可夺，阴欲去之。

　　当时皇太子杨勇失去了隋文帝的宠爱，文帝暗地里起了废立的念头，曾经从容地对高说：“有神告诉晋王杨广的妃子，说晋王必定享有天下，你说该怎么办？”高长跪不起，回答说：“长幼有序，怎么可以废黜太了？”独孤皇后知道高在废立问题上肯定不会曲意赞成，于是暗中打算把他赶出朝廷。

　　会上令选东宫卫士以入上台，奏称：“若尽取强者，恐东宫宿卫太劣。”上作色曰：“我有时出入，宿卫须得勇毅。太子毓德春宫，左右何须壮士！此极弊法。如我意者，恒于交番之日，分向东宫，上下团伍不别，岂非佳事！我熟见前代，公不须仍踵旧风。”子表仁，娶太子女，故上以此言防之。

　　恰好隋文帝下令挑选东宫卫士到皇宫上台值班宿卫，高上奏说：“如果陛下把强壮的卫士都选走，恐怕东宫的宿卫力量太弱。”文帝脸色大变说：“我时常出外巡幸，所以宿卫之士必须要壮勇强健。而太子只需要安坐东宫培养仁德，左右那里用得着壮士缩卫！所以在东宫保持强大的警卫力量是极大的弊政。卫士中合我意的，经常在轮换当值交接的那天，分配前去宿卫东宫，如此则两宫宿卫合为一体，难道不是件好事情？我十分熟悉前代各种制度的得失，你不必请求仍然沿袭传统的作法。”因为高的儿子高表仁娶了太子杨勇的女儿，所以文帝用这些话提醒他。

　　夫人卒，独孤后言于上曰：“高仆射老矣，而丧夫人，陛下何能不为之娶！”上以后言告。流涕谢曰：“臣今已老，退朝，唯斋居读佛经而已，虽陛下垂哀之深！至于纳室，非臣所愿。”上乃止。既而爱妾生男，上闻之，极喜，后甚不悦。上问其故，后曰：“陛下尚复信高邪？始，陛下欲为娶，心存爱妾，面欺陛下。今其诈已见，安得信之！”上由是疏。

　　高夫人去世，独孤皇后对隋文帝说：“高仆射已经老了，又丧夫人，陛下怎能不为他再娶一房继室？”文帝把皇后的话转告了高。高凄然泪下，感谢说：“我已经年迈，退朝以后，只是斋居诵读佛经而已，虽然陛下如此深崐深地哀怜我，但是说到再娶，实非我所愿。”于是文帝只好作罢。随后不久高的爱妾生下一个儿子，文帝听说后非常高兴，而皇后却很不愉快。文帝问她其中缘故，皇后说：“陛下还能再相信高吗？开始时，陛下打算为高迎娶继室，而由于心里装着爱妾，于是当面欺哄陛下，说他不愿再娶。如今他的欺诈已经暴露，陛下怎么能再信任他？”文帝因此开始疏远高。

　　伐辽之役，固谏，不从，及师无功，后言于上曰：“初不欲行，陛 下强遣之，妾固知其无功矣！”又，上以汉王年少，专委军事于，以任寄隆重，每怀至公，无自疑之意，谅所言多不用。谅甚衔之，及还，泣言于后曰：“儿幸免高所杀。”上闻之，弥不平。

　　隋文帝决定讨伐高丽时，高曾一再进谏，文帝没有听从。及至出师无功，独孤皇后又对文帝说：“高一开始就不愿意出征，陛下强派他前往，我就知道他一定不会成功。”另外，文帝由于元帅汉王杨谅年少，把所有军务都委任高，而高也因为文帝对他寄以厚望，所以常怀有至公守正之心，没有产生过自避嫌疑的念头，对杨谅的话多不听从。于是杨谅十分痛恨高，及至回到长安，痛哭流涕对皇后说：“我幸亏没有被高杀掉。”文帝知道后，心中愈发愤愤不平。

　　及击突厥，出白道，进图入碛，遣使请兵，近臣缘此言欲反。上未有所答，已破突厥而还。及王世积诛，推核之际，有宫禁中事，云于处得之，上大惊。有司又奏“及左右卫大将军元、元胄，并与世积交通，受其名马之赠。”、胄坐免官。上柱国贺若弼、吴州总管宇文、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等明无罪，上愈怒，皆以属吏，自是朝臣无敢言者。秋，八月，癸卯，坐免上柱国、左仆射，以齐公就第。

　　及至高领军攻打突厥，大军追击越过了白道，谋划进一步深入大漠之中，于是派人向朝廷请求增兵，隋文帝左右近臣据此说高图谋造反。文帝还没答复，而高已打败突厥而班师还朝。及至前凉州总管王世积被朝廷处死，在审问的时候，有一些宫禁中的事情，王世积说是从高那里得知的，文帝大吃一惊。有关职掌官吏又上奏说：“高和左右卫大将军元、元胄，都与王世积交结往来，并接受了王世积赠送的名马。”于是元、元胄都被朝廷罢免了官职。上柱国贺若弼、吴州总管宇文、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等人都上奏申明高无罪，可是文帝更加发怒，下令将他们都交付执法官吏问罪，因此百官群臣没有人再敢为高说情。秋季，八月癸卯（初十），高被罢免上柱国、尚书左仆射官职，以齐公归家闲居。

　　未几，上幸秦王俊第，召侍宴。欷悲不自胜，独孤后亦对之泣。上谓曰：“朕不负公，公自负也。”因谓侍臣曰：“我于高，胜于儿子，虽或不见，常似目前；自其解落，瞑然忘之，如本无高。人臣不可以身要君，自云第一也。”

　　不久，隋文帝驾幸秦王杨俊的府第，召高在宴会上作陪。高见到文帝后欷不已，悲不自胜，独孤皇后也当着高的面泫然落泪。文帝对高说：“朕不负你，这是你自作自受。”文帝因此对左右侍臣们说：“我对待高胜过自己的亲生儿子，即使不见他的面，他也好象常在我的眼前。自从他解官离职以后，我就把他完全遗忘了，好像从来也没有过高这个人。所以，做人臣的不能要挟君主，自认为是天下第一。”