後北条氏は当城を小田原水軍の根拠地とし、玉縄衆の朝比奈孫太郎が入っていた。やがて豊臣秀吉との関係が悪化すると伊豆衆の清水康英を城将とし、豊臣軍の来襲に備えて改修された。天正18年(1590年)に豊臣側の長宗我部元親、九鬼義隆、脇坂安治、加藤嘉明らの率いる一万以上の水軍が来襲し、康英は手兵600余で約50日にわたって籠城した後に開城している。北条氏の滅亡後は徳川家康の家臣・戸田忠次が下田5,000石を治め、当城主となった。忠次の子・尊次は慶長6年(1601年)に三河国の田原城へ転封となり、以後は江戸幕府の直轄領として下田町奉行が支配し、廃城となった。