১৫৬১ সালে ফেলিপে টলেডো থেকে মাদ্রিদে রাজদরবারে যান, যেখানে ১৫, ০০০-রেরও কম লোকের বসবাস ছিল কিন্তু সেই শহরকে তিনি বিশ্বের সর্বমহান সাম্রাজ্যের রাজধানীতে পরিণত করেন।
১৫৪৭ সালে ফিলিপ টলেডো থেকে বার্সেলোনায় চলে যান।