関ヶ原の戦いで東軍についた寺沢広高は、戦後、徳川家康から天草一郡およそ4万石を加増され唐津藩の飛地とし、都合12万3000石を領する大名となりますが、これが二代目・堅高の悲劇を生むことになります。寛永14年(1637年)に島原に勃発した島原の乱は、天草にも飛火します。乱後、堅高は、島原の乱の責任を幕府からとがめられて領地を没収され、ほどなくその心労により自殺します。堅高に跡継ぎがなかったので寺沢家は改易となりました。
旧唐津銀行本店は、東京駅や日本銀行を手がけた近代建築学の第一人者・辰野金吾(唐津出身)に師事した田中実が設計したもので、1912年(明治45年)築のヴィクトリア様式建築です。