創立年代不詳。当地に古く木地師三軒住居し、山ノ神（大山祇命）を奉斎したことに始まると伝わる。

文治元年（1185）4月平氏が没落した時、その残党が安徳帝を奉じて入国し、多くこの村に居住。

翌2年8月13日帝が崩御されたので残党深く追慕して御霊を合祀し、皇居大明神と称して祭ったと伝える。

姫路村の氏神について『因幡民談記』（1671）は山王二社と記し、『因幡誌』（1795）は山神と記している。

享保8年（1723）、元文2年（1737）、弘化4年（1847）に本殿を改築。

明治元年に境内の八幡宮（応神天皇）を合祀して上岡田社と改め、同6年に上岡田神社と改称した。