১৫২৯ সালে জেমস ও তার স্ত্রী গাইসের মেরি এর জন্য একটি টাওয়ার ও রাজকীয় অ্যাপার্টমেন্ট নির্মাণের কাজ শুরু হয়, যা বর্তমানে বর্তমান প্রাসাদের পশ্চিম অংশ এবং টাওয়ার গঠন করে।
রাজকীয় অ্যাপার্টমেন্টগুলির কাজ এক শতাব্দীরও বেশি সময় ধরে চলেছিল।