この地は、後醍醐天皇の第四皇子静尊法親王(じょうそんほっしんのう)の最期の地と伝えられる。
親王は、出家して聖護院に入っていたが、後醍醐天皇による鎌倉幕府討幕運動が始まるとそれに参加、しかし元弘2年(1332)捕まり但馬国に配流となった。
その後の親王の消息は不明であるが、この地の伝承では、親王は、都の戦乱を避け、北畠親房の弟の源浄上人とともに霊山の北畠氏を頼ったが、その途中この地で病で没したと云う。
上人は親王の遺体を蓬莱岩の東岸に埋葬し、その地に草庵を結び親王の冥福を祈った。その後、後村上天皇の命により、この地に薬師如来を祀った御堂が建てられたと伝えられる。
現在の御堂は、平成2年(1990)に再建されたもので、旧御堂は、蓬莱岩に下っていく途中にある。