高澄突然推門闖入，怒目看著元善見，竟然不顧禮數，便開始質問他：“陛下為何要謀反？我們父子功存社稷，忠心耿耿，從未負過陛下。”說著，看向周圍的妃嬪，突然起了殺心，“想必是你周圍的侍從和妃嬪在從中進讒，所以你才這麼做的！”
    元善見亦怒道：“自古隻聞大臣謀反，卻從未聽說君主反臣子的！是你想謀逆篡位，又何必來指責我！我不害你，你也必會害我。我連自己的生死都顧不了，何況是妃嬪。你若想弑君篡逆，也都隨你！”
    高澄聽得此言，竟啞然無語。他知道自己言語太重，於是連連叩頭謝罪，啼哭不止。
    高澄連夜設宴請罪，但三日後卻將元善見幽禁於含章堂。
    在這段期間，楊愔曾來牢獄中看過荀濟，並且對他說：“荀公呆在這裏想必吃了不少苦，不如你隨我一同輔助高澄，何必在這裏受罪。”
    荀濟聽見熟悉的聲音傳來，很是優美，抬頭看見一位風度不凡、容止可觀的男子向他走來。
    荀濟豈會不知他話中之意，直言道：“楊遵彥，你認為你還能侍奉他多久？高澄一向傲慢自大，目中無人，他若一直這樣下去隻會積下數敵，最終會落得怎樣的下場，想必你一清二楚，又何必去效忠這種人。”
    楊愔隻淡淡地答了一句：“獻武王（高歡）對我有恩，所以我定會盡心幫助高氏一族，讓他們無後顧之憂。”
    當年，北魏孝莊帝元子攸在位，爾朱榮權傾朝野。
    公元530年，元子攸與楊侃等人密謀要除掉大權在握的爾朱榮，謊稱爾朱皇後生下太子，將其騙入宮中，而爾朱榮也並未起疑。
    他剛進大殿便見到了元子攸，還未等爾朱榮半句言語，皇帝埋伏的人就立即持刀砍來。爾朱榮見狀，很快衝向元子攸想要挾持他，沒曾想他膝上早已放了一把刀刃，待爾朱榮衝來時就將它拔出，親自刺殺了他。
    三個月後，爾朱榮之子爾朱兆弑殺了元子攸，時年二十四。
    不久，楊侃被爾朱榮的堂侄爾朱天光殺害，因為楊侃參與了此事，所以楊氏一家也慘遭滅門之禍，不過楊愔幸免於難，撿了一條性命。
    在那幾年裏楊愔一直隱姓埋名，終日在悲痛中度過，及至遇見高歡才看到了複仇的希望。
    楊愔盡心盡力地輔助高歡，不斷出謀劃策，隻為討伐仇敵。終於，爾朱氏一族敗亡，報了心底多年的仇恨。
    他又側頭看著荀濟，問道：“你已是遲暮之年，何苦為了一個傀儡皇帝而做這些事，害了自己？”
    荀濟答道：“我雖然人已老，但壯氣還在!”
    見到這樣忠君的老人，楊愔十分歎服，於是在獄辭中寫道：“荀濟因為年紀衰頹，功名不立，所以挾持天子，誅殺權臣。”
    高澄看完楊愔奏上的獄辭，想要寬恕荀濟，免其一死，所以親自來到獄中。
    他看見鐵牢裏關著一個年邁的老人，身著囚服，淩亂不堪的發絲更添了幾許白發，顯得十分狼狽。
    他看了荀濟半晌，方才開口問道：“荀公，你為何要造反？”
    荀濟抬首看他，麵色依舊淡然，口中卻答：“我是奉詔誅殺高澄，怎麼能叫造反呢！”
    高澄原本想釋放他，沒想到聽見這話，怒道：“你不怕死？”
    荀濟冷冷一笑，“我現在已是晚年，死又有何懼！”
    言下之意便是不肯屈服，執意求死。
    高澄非常惱怒，立即命人將荀濟等人押赴街市用大鍋烹煮。有司覺得荀濟年老多病，於是用小車把他押到東市，連人帶車全部焚毀，將他活活燒死了。