দ্বাদশ শতাব্দীতে, যখন বাড়িটি পেলি টাওয়ারের চেয়ে সামান্য বেশি ছিল, তখন এটি ডি মরভিল পরিবারের মালিকানাধীন ছিল (এই পরিবারের আরও কুখ্যাত সদস্যদের মধ্যে একজন, হিউ ডি মরভিল, থমাসকে হত্যা করা চার নাইটের মধ্যে একজন ছিলেন?
দ্বাদশ শতাব্দীর মধ্যে বাড়িটি একটি বিশাল কাঠামোতে পরিণত হয়েছিল এবং ডি মরভিল পরিবারের এটি কেনার সামর্থ্য ছিল না।