社伝によれば大同元年（806）の創立という。

舂米の須賀社（蔵王権現）より分霊を奉斎し、子安権現と称したという。

『因幡民談記』、『因幡誌』ともに岩屋堂村の氏神は妙見社としており、祭神等考究を要する。

飛騨の匠の作と伝わる旧社殿を、慶應元年（1865）９月焼失したが、翌２年に再建。

明治元年に岩屋社と称し、同６年岩屋神社と改称した。