」他見高緯時，小皇帝已和四百兵士慌亂披甲操刀要出門抵擋。斛律光勸後主說：「這些少年舞刀弄搶，一交手就亂殺一通不分尊卑。只要您皇帝露一露面，那些人就死了心。」果然，小皇帝一露面，高儼的徒眾「駭散四奔」。高儼也沒了主意，站在原地不動彈。斛律光上前牽手拉他，說：「天子弟弟殺個人算什麼呢。」又對高緯說：「琅邪王年少不懂事，成人後就不會這樣。」高緯此時忽長精神，抽出弟弟高儼的佩刀用刀柄對弟弟的腦袋一頓亂擊，咬牙切齒好久才把高儼放了。他又親自用弓箭射殺高儼的徒黨，肢解暴屍，以洩怒氣。胡太后怕大兒子弄死二兒子，就把高儼關在自己宮內，高儼每次吃飯前太后自己都親口嘗試怕有毒把兒子毒死。幾個月後，高緯趁胡太后睡覺，騙高儼早起打獵，讓衛士劉桃枝反綁高儼雙手，用袖子堵嘴，背負到自己的宮裡砍了頭，時年十四歲。 皇帝位子坐穩，轉年七月，高緯就誅殺了大臣斛律光。斛律光一族自其父斛律金起就賣命高氏。「敕勒川，天山下，天似穹窟，茫蓋四野。天蒼蒼，野茫茫，風吹草低見牛羊」。這首千古名曲就是斛律金在高歡在玉壁之戰大敗於周軍之後為安慰高歡用鮮卑語唱出，聽得高歡當時涕淚橫流。斛律光位極人臣，平生為高家打過無數惡仗，又幫助高緯坐穩帝座，但不貪權勢，不懂交結高緯的寵臣穆提婆和祖珽。兩個人於是同上讒言，說斛律光有謀反之心，勸高緯殺掉他。高緯性怯，不敢誅殺如此重臣。祖珽給他出主意：「賞賜斛律光一匹馬，說明天一起遊獵東山，他一定來謝恩。」斛律光來到涼風堂，高緯衛士劉桃枝從後擊其後腦，斛律光不倒，回頭說：「桃枝常常幹這樣的事，我到死也不干對不起國家和皇帝的事。」劉桃枝和三個大力士用弓弦勒在不做絲毫抵抗的斛律光脖子上，勒死了一代名將。小皇帝開始親政，已經逐漸表現出他作為暴君和昏君的素質了。
誅戮功臣之後，高緯又把目光轉向親族。被謐為文襄皇帝的高澄有六個兒子。第四子是蘭陵王高長恭。高長恭容貌美麗如纖潔婦人，上陣常面帶一個鐵面具以威嚇敵人。邙山之戰，他輔助高湛取得大勝利，武士們吟唱歌謠，名為《蘭陵王入陣曲》，國人誦唱，聲名顯著。後主高緯有一次問他：「你打仗時深入敵陣，如果失利的話後悔也來不及呵。」蘭陵王回答：「家事親切，不知不覺我就衝了進去。」本來是效忠皇帝的話，但高緯對蘭陵王「家事」一詞深為忌諱，漸生猜忌。為免橫死，英名一世的蘭陵王得病也不醫治，在家等死。武平四年，高緯派人送毒藥給他。高長恭喝藥前對妃子鄭氏長歎：「我忠心侍奉皇上，為什麼要被毒死呢。」妃子哭勸讓他親自見見皇帝訴說無罪。蘭陵王說：「無顏何由可見！」遂飲藥而死。小皇帝殺戮一番，覺得異己已盡，也就漸漸安生下來。
高緯小皇帝剛即位時雖怯懦無志度，卻有識人之智。高儼舉兵時左右誤告他說是大臣謀反，他說「這肯定是仁威（高儼字）啊。」殺了斛律光以後，眾人推薦高思好做大將軍，高緯獨論：「思好這人本性喜歡反叛。」這兩件事應驗後，高緯自認為策無遺算，更加驕縱放蕩。
驕奢淫逸的「無愁天子」
小皇帝親政排除異己，鞏固皇位後，卻沒有管理國事的心思，而是要想方設法大玩特玩。皇帝要想荒唐，自然是要視錢財如糞土，看官爵比瓦礫。於是那些阿諛奉承的佞臣都被封了高官，侍奉他的宮婢都獲封為郡君。他喜歡養馬，親自給馬配製飼料，有十幾種之多，還給公母馬交配特地建造「青廬」，甚至給這些馬郡守一樣的名號，還得食祿。他還大肆揮霍，動輒賞賜巨萬。宮女錦衣玉食者五百多人，一件裙子的花費價值萬匹布，而且只穿一天就扔掉了；一個鏡台也能用上千兩黃金。他為寵愛的穆皇后造七寶車，載滿金銀到北周買珍珠。北周恰逢太后喪禮，不肯賣給他，他就更花費巨億從別的地方買來製造寶車和裙禱。
他大興土木，而且好惡反覆無常，儘管各處宮苑修得富麗堂皇，卻屢毀屢修，從事建築的工匠沒有一時的休息，夜裡點起火把照明施工，天冷時得用熱湯和泥。又在晉陽做十二院，開鑿晉陽西山塑造巨大佛像，一夜間要點燃萬盆油燈，燈光可以照到宮中，勞費數億計。如此胡鬧，不久就府庫積蓄匱乏，民不聊生，於是皇帝也覺得自己窮了，要做乞丐。就專門在華林園旁，設立一個貧兒村，自己穿上破衣爛衫，向人行乞，還覺得好玩得不行。他又仿照民間開設市場，自己一會兒裝賣主一會兒裝買主，忙得不亦樂乎。他還喜歡玩打仗遊戲，畫下西境一些城池的圖樣，依樣仿造，讓衛士身穿黑衣模仿北周兵攻城，他卻用真正的弓箭在城上射殺這些「敵兵」。皇帝玩得高興，真不知道天下還會有什麼讓人憂愁的事，便親自創作了一支曲子，名曰《無愁》，還親自彈奏琵琶演唱，讓左右數百人唱歌跳舞來應和。於是，民間就把這皇帝叫做「無愁天子」。
不過比起他們高家前幾代皇帝那些匪夷所思的暴行來，高緯這些胡鬧真是太小兒科了。於是他就向自己的親戚們「努力學習」。有人向他告發南陽王高綽的種種暴行：這個王爺在定州刺史任上荒淫殘暴，無所不為。他喜歡養波斯狗，經常縱狗咬人。一次，在路上看到一個女子抱小孩，就上前從她懷中奪走孩子，丟在地上餵他的波斯狗。女子號哭，高綽大怒，又縱狗去咬她，那狗剛吃飽小孩，不去咬，他就把小孩身上的血塗抹於女子身上，眾狗便一撲而上，把女子撕裂食盡。高緯聽說此事，不禁對這個同父異母兄弟如此有「創意」大感佩服。於是立刻召他進京。兩人一見面，高緯就迫不及待地問他在定州什麼事情最好玩。高綽說把人和蠍子放在一起，看他們鬥來鬥去，是最有意思的事情了。高緯就派人連夜搜尋蠍子。第二天早晨，忙碌了一個晚上的侍從們好不容易捉到了兩三斗蠍子，高緯把蠍子放在一個大浴盆裡，然後綁了個人扔了進去，蠍子蜂擁而上，那個人被蜇得號叫翻轉，哀聲動天。高緯和高綽卻在一旁看得津津有味，歡喜得又叫又跳。高緯還埋怨高綽：「這麼好玩的事情怎麼不早一點告訴我。」自此之後，他對這個兄弟喜歡得不得了，封他為大將軍，讓他日夜陪自己在宮中尋歡取樂。
重用奸佞，寵信小人
皇帝大玩特玩，朝政就落到了一班奸佞小人的手上。高緯當時寵信蕭長鸞、穆提婆等人。一幫人天天宴飲無度，帶刀走馬，從未安生過。這些人見朝臣就瞋目張拳，有吃人之勢。尤其是韓長鸞特別憎恨讀書人，常常大罵朝臣：「我對這些漢狗不可忍耐，應該都殺掉才對！」（韓是鮮卑貴族）。齊國大城壽陽被周朝軍隊攻陷，高緯還真憂懼了一陣子。穆提婆就勸他：「即使我們齊國盡失黃河南岸，還可作一龜茲國呢……人生如寄，唯為行樂，幹嗎犯愁呢！」左右嬖臣隨聲附和，高緯於是大喜，酣飲歌舞，日以繼夜。這裡倒和北齊的一種風俗有關係。原來當年高歡和宇文泰都是從北魏六鎮兵變起家。這高歡本來是漢族人，卻喜好鮮卑風俗，所重用之人也是多是鮮卑人。那些漢族士人為了進身，竟有投其所好去學鮮卑語和彈琵琶的。而出身鮮卑族的北周宇文氏，卻在那裡學著漢族用《周禮》定官名，仿《尚書》作制誥。這般顛倒卻也好笑。所以，北齊皇室也盛行鮮卑風尚，朝野上下，一致尊崇，高緯的這幫寵臣也多是鮮卑人。不過他們之所以這麼得寵，除了陪著小皇帝玩得高興之外，還和宮中小皇帝的乳母陸令萱很有關係。
陸令萱也是鮮卑族人，因為丈夫謀反被殺而沒入皇宮為婢。她巧黠多智，善於奉迎，很快就得到了齊武成帝高湛和胡皇后的信任，特意命令她做太子高緯的乳母。陸令萱自然盡心盡力，高緯也和她十分親近，叫她「干阿媽」，對她言聽計從，親政之後，更是把宮中的事情都交給她掌管。後來高緯的母親胡太后因為與和尚的姦情敗露，被高緯關了起來，陸令萱就成為了後宮的主人。她的兒子穆提婆，也因此而由一個宮奴變成了深受皇帝寵信的朝廷大臣。於是陸令萱開始干預朝政，勾結高緯的那些寵臣大肆弄權。一時間哪怕是奴婢倡優之人，只要附和他們，都可以被封官晉爵。於是弄得吏治腐敗，賄賂公行。天下開府一職的官員竟然達到一千多人，儀同官職不可勝數，僅領軍就增加到二十多人。官雖多了，卻因為職權不明，反而沒人辦事。
朝廷下達的詔令和文書，二十個領軍都互相推諉，最後都只在文書上照葫蘆畫瓢地寫了個「依」字扔在一邊，沒人執行。陸令萱在朝廷大事上獨斷專行，在後宮自然就更加說一不二，就連高緯后妃的廢立，都掌握在她手中。高緯的皇后斛律氏，是功臣斛律光的女兒。斛律光被誣謀反而被處死，斛律氏也就被廢掉。高緯又立了胡太后的侄女為皇后，但他喜歡的卻是前皇后斛律氏的侍女穆黃花。穆黃花也是個聰明的女子，知道自己出身卑賤，就拜陸令萱為母，在宮中找到了一個堅實的靠山。於是陸令萱為了提高她的地位不遺餘力。讓她的兒子高恆成了太子，接著又在胡太后面前進讒，讓太后大怒，把胡皇后廢掉。這樣，穆黃花就被立為皇后，陸令萱也因為是皇后之母，被封為「太姬」，相當於一品官，班列在長公主之上。然而，在她們志得意滿之際，卻沒有想到喜新厭舊的高緯又一次轉移了目標，愛上了另外一個女子。
小憐玉體橫陳夜，已報周師入晉陽
高緯的穆皇后本是斛律皇后的侍女，卻沒想到天意弄人，自己最後也栽在了自己的侍女身上，這個侍女就是馮小伶。
當年高緯對穆黃花迷戀不已，費了很大勁才立她為後。但一旦如願以償，新鮮勁就過去了，他很快又寵愛上了彈得一手好琵琶的曹昭儀。穆皇后深宮寂寞，哀怨不已。她的侍女馮小伶生得姿容出眾，性格乖巧，看到皇后這個樣子，十分不忍，便向皇后獻了一計，情願以己身為餌，前去離間高緯和諸嬪妃的關係，把皇帝重新奪回到皇后身邊來。
這種思路頗為奇怪，但卻得到了穆皇后的贊同。於是她把馮小伶盛裝打扮了一番，推薦給高緯。高緯本是酒色之徒，一見這般尤物，立刻神魂顛倒，和她夜夜春宵，從此把後宮嬪妃視作糞土一般，對於穆皇后，更是忘到了腦後。而馮小伶大概也已經忘了她對皇后的承諾，沉浸到與皇帝的恣情歡樂中去了。高緯封馮小伶為淑妃，讓她住在隆基堂，本是雕樑畫棟，極盡綺麗了。馮小伶卻嫌那是曹昭儀的舊居，太不吉利，就命令拆梁重建，並把所有的地板換了過來，揮霍了許多金銀。高緯毫無異言，任她所為。馮小伶一直生活在後宮，對那些嬪妃爭寵之事耳濡目染，早就練就了一套狐媚惑主的本事。而且她不但天生冰肌玉骨，聰慧伶俐，還精通音律，能歌善舞，尤其擅長演奏琵琶。她還無師自通地學得一手按摩的本領，當年在穆皇后那裡就使得女主人誇讚不已，現在又用來侍奉皇帝。美人的一雙玉手在高緯身上揉揉捏捏，已是叫他的骨頭酥了一半，再加上馮小伶的按摩技術還頗為精妙，弄得高緯通體舒泰，飄飄欲仙，就更是離不開她了。兩個人坐則同席，出則並馬，還經常祈願生死一處，做個永遠夫妻。就連在朝堂議事，高緯都和馮小伶膩在一起，前來奏事的大臣見狀都羞得滿臉通紅，只好唯唯而退。