河清四年（565年），年仅10岁的高纬做了北齐的皇帝，是为北齐后主。据史书记载，高纬的家族嗜杀戮，开国皇帝文宣帝高洋便凶暴异常。大臣杨愔为北齐立下累累功绩，且是高洋的亲戚，但却也在无任何理由的情况下，被高洋用马鞭狠抽背脊，接着又被高洋用小刀扎进肚子，其惨状就连旁边的宦官都看不下去，连哄带骗地才让高洋把刀子拔了出来。不过高洋还没尽兴，又命令将杨愔装进棺材，钉上铁钉，用车运来运去，做送丧游戏。幸好杨愔命大，最后总算免于一死。高洋还曾一怒之下将宠妾薛氏五马分尸，并将尸块陈列在宴请大臣的宴会上，另将薛氏的头盖骨做成琵琶在大庭广众之下演唱。
高纬的祖先如此凶残，而高纬的母亲胡皇后则生性荒淫，在这样的环境下，高纬也免不了染上一些令人瞠目结舌的嗜好。天统四年（568年），太上皇高湛驾崩，高纬开始表现出暴君和昏君的行迹。他先杀掉了自己的弟弟琅琊王高俨，又杀了功臣斛律光，后来开始猜忌战功卓著的兰陵王高长恭，派人将高长恭给毒死了。
经过一番杀戮之后，高纬觉得异己已尽，也就渐渐安生下来。虽然安生了，但他并没有管理国事的心思，而是要想方设法地大肆玩乐。他喜欢养马，亲自给马配制饲料，有十几种之多，还为公母马交配特地建造“青庐”，甚至给这些马郡守一样的名号，让马享受食禄。他还大肆挥霍，动辄赏赐巨万。宫女锦衣玉食者五百多人，有的宫女一件裙子的价值就达万匹布，而且只穿一天就扔掉了；一个镜台也能用上千两黄金。他为宠爱的穆皇后造七宝车，载满金银到北周买珍珠。北周恰逢太后丧礼，不肯卖给他，他就花费巨亿从别的地方买来。他大兴土木，而且好恶反复无常，尽管各处宫苑修得富丽堂皇，却屡毁屡修，从事建筑的工匠没有一时的休息，夜里点起火把照明施工，天冷时得用热汤和泥。他还在晋阳造十二院，开凿晋阳西山塑造巨大佛像，一夜间要点燃万盆油灯，灯光可以照到宫中，劳费数亿计。如此胡闹，不久就府库积蓄匮乏，民不聊生。但是高纬不以为然，反而把国库亏空当成自己荒唐的理由。于是他不断地告诉自己，现在自己已经身无分文，是个穷人，穷人自然要做乞丐。于是，他专门在华林园旁设立一个贫儿村，给自己穿上破衣烂衫，拿着个破碗，向人行乞，自己还觉得好玩得不行。他又仿照民间开设市场，自己一会儿装卖主一会儿装买主，忙得不亦乐乎。他还喜欢玩打仗游戏，画下西域一些城池的图样，依样仿造，让卫士身穿黑衣模仿北周兵攻城，他却用真正的弓箭在城上射杀这些“敌兵”。高纬就这样不断地荒唐胡闹，竟然不知道天下还会有什么让人忧愁的事。高纬酷爱音律，喜欢自己填词作曲。他亲自创作了一支曲子，名曰《无愁》，还亲自弹奏琵琶演唱，让左右数百人唱歌跳舞来应和。于是，民间就把这位皇帝叫做“无愁天子”。
