সেই সময়ে এডিনবার্গ ছিল খুবই সাধারণ এক শহর, কিন্তু ডেভিডের উত্তরাধিকারী ম্যালকম চতুর্থ (১১৫৩-১১৬৫) এর দুর্গকে তার প্রধান বাসস্থান করে তুলেছিলেন।
ডেভিডের উত্তরসূরি ছিলেন রাণী মার্গারেট তৃতীয় এবং তিনি এডিনবরা প্রাসাদে চলে যাওয়ার সিদ্ধান্ত নেন।