খ্রিস্টপূর্ব তৃতীয় ও দ্বিতীয় শতাব্দীতে একটি বেলেপাথরের পাহাড় থেকে খনন করা উদয়গিরি (সানরাইজ হিল) গুহাগুলি কলিঙ্গ রাজ্যের জৈনধর্ম যখন রাষ্ট্রীয় ধর্ম ছিল তখন পুরোহিত ও সন্ন্যাসীদের আবাসস্থল ছিল।
গুহাগুলি পুরোহিত এবং সন্ন্যাসীদের আবার বিশিষ্ট হওয়ার জন্য বছরের পর বছর অপেক্ষা করার জন্য একটি নিরাপদ জায়গা সরবরাহ করেছিল।