মাদ্রিদের উত্তর-পশ্চিমে সিয়েরা দে গুয়াদারামা পাহাড়ের পাদদেশে অবস্থিত বিশাল এক প্রাসাদ ও মঠ এল এসকোরিয়াল হচ্ছে দ্বিতীয় ফেলিপের সবচেয়ে বড় উত্তরাধিকার।
দ্বিতীয় ফিলিপ প্রাসাদ ও মঠের প্রতি তেমন মনোযোগ দেননি, তার বেশিরভাগ সময় শহরে কাটিয়েছিলেন।