文治元年(1185)三月、平家を壇ノ浦に沈め、意気揚々と京に凱旋した源義経であったが、五月には兄頼朝に勘当され、もはや兄弟の破綻は決定的となった。十一月には北条時政が入京、義経追捕の院宣が発せられ、さらにこれを名目に守護、地頭が諸国に置かれた。世にいう「文治の守護・地頭補任の勅許」である。
このとき、加賀の守護となったのが富樫左衛門泰家であった。歌舞伎「勧進帳」では安宅の関守として登場する。
泰家の目には紛れもなく義経主従であることが見えていたが、弁慶の忠誠心に感動して関の通行を許してしまった。ということである。
また木曾義仲挙兵時(寿永二年五月二日)には城砦が構えられ、平維盛軍を林光明らが迎え撃ったが攻め落されている。その後、倶利伽羅峠で平家軍が敗れた際に一時的に拠ったといわれている。