『続古事談』によると、ある時通憲が唐人と中国語で会話しているのを見て人がびっくりしてたずねると、「俺はそのうち遣唐使にでも召されるかと思って勉強していたんだよ」と答えたといいます。
「私が出家したら、へたに学問があるために身を滅ぼしたと世間の人は言うでしょう。どうかあなただけは、学問をやめないでください」
さしもの宇治の悪左府藤原頼長も、涙を流したと頼長の日記『台記』に記されています。
保元の乱後、信西は反対勢力の排除に乗り出します。第一に摂関家。保元の乱で敗れた藤原忠実を洛北知足院に幽閉し、忠実・頼長父子の所領を没収します。
勝利した後白河天皇についていた藤原忠通に対しても容赦ありませんでした。信西は忠通から藤原氏の氏の長者の任命権を奪い摂関家を弱体化させていきます。
平安京の大内裏は桓武天皇がお開きになって約170年後の天徳4年(960年)に火事で焼失しました(天徳内裏歌合が行われた時代)。これは一年ほどで再建されましたが、その後も火事が絶えなかったため、外戚の館に内裏を遷します。これを里内裏といいます。
保元三年(1158年)後白河天皇は譲位し上皇となり息子の守仁親王が即位して二条天皇となります。もともと後白河が即位したのは亡き鳥羽上皇に嫁いでいた美福門院得子の意向でした。美福門院得子は守仁親王を養子としており、いずれ即位させたかったのです。
後白河天皇を即位させたのは、その子守仁親王を即位させるまでのつなぎでしかありませんでした。今こそ美福門院の意向が成立したわけです。
酒酌み交わす美福門院と信西。そんな図があったかどうかわかりませんが、上皇となった後白河は内裏を出て、三条東殿に移り、院の御所と定めます。側近の信西も後白河上皇に従います。
こうして後白河上皇の下、信西はますます勢いを伸ばしていきました。
藤原信頼(1133-1160)は信西と並び後白河上皇の寵愛を受けていました。不比等の次男房前を祖とする藤原北家の出身で、かつて一条天皇の時代に権勢をほこった藤原道長の流れを汲みます。家柄は申し分なしです。
父の藤原忠隆も鳥羽院の近臣で、信頼は順調に出世していきます。後白河上皇に仕えるようになってから周囲から「あさましき程の寵愛あり」と言われるほどの寵愛を受けます。男色関係にあったとも見られています。
信頼はかねてから右大将への昇進を強く望んでいました。しかし、信西が後白河法皇に進言により、昇進をはばまれてしまいました。
信西は後白河上皇が藤原信頼を寵愛するのをあぶないと見て、信頼を唐で反乱をおこした安禄山になぞらえました。そして『安禄山絵巻』三巻をつくって後白河上皇に贈り、注意をうながしました。
信西憎しの気持ちを抱いていたのは信頼だけではありませんでした。左馬頭義朝は保元の乱の恩賞で左馬頭に任じられ武士として昇殿を許され、さらなる昇進を望み、信西の息子にわが娘を嫁がせようとします。
義朝の申し入れを断りました。その上、保元の乱の戦後処理では信西によって実の父・為義を斬らされた恨みもありました。
信西に恨みを持つ義朝は、同じく信西に恨みを持つ信頼に結び付きます。また院近臣藤原成親、大納言藤原経宗、検非違使別当藤原惟方らも信頼につきました。