কিন্তু ১২৮২ সালের হত্যাকারী সিসিলিয়ান ভেস্পারে পালের্মো ফরাসিদের বিরুদ্ধে উঠে দাঁড়ান, যখন স্থানীয়রা ফ্রেঞ্চ উচ্চারণে যারা ইতালীয় বলত তাদের সবাইকে হত্যা করে এবং চার্লসকে তার রাজধানী নেপলসে স্থানান্তর করতে বাধ্য করে।
পালের্মো ও চার্লস সুইজারল্যান্ডে বন্ধু ছিলেন।