だから、足利尊氏が後醍醐天皇から政権を奪い南北朝の動乱期を迎えると、井伊氏は後醍醐天皇の南朝に味方して足利一族で遠江・駿河(現在の静岡県東部)の守護職をあたえられた今川範国と刃を交えることになる。建武4(1337)年、範国は三方ヶ原で戦った井伊勢を「凶徒」と表現し、井伊氏は後醍醐天皇の子・宗良親王を三岳城に迎えている(この城はいざという時のための詰の城〈最後の砦〉で、その西向かいのもっと低い位置にあった井伊谷城が通常の居城だった)。
井伊氏はこの戦いに敗れ、やむなく今川氏に従う。そして戦国時代に入ると今川氏に代わって遠江守護となっていた斯波氏の配下として今川氏と戦い、また負けて三岳城を攻め落とされた。この戦いで今川氏はふたたび遠江を支配するのだが、それまでの経緯が経緯なので今川氏は決して井伊氏に気を許すことはなかった。範国から7代、戦国時代に今川家の当主となった義元は天文13(1544)年井伊直満を謀反の嫌疑で自害に追い込み、同じ頃に井伊谷城の押さえとして万石(現浜松市中郡町)に砦を築かせ、兵を配置している。いかに井伊氏が警戒されていたかがわかるだろう。