『延喜式』（927年）には「邑美郡一座小 中臣崇健神社」とある。

近世は岡森天王また幡刺天王と称した。

古くより本殿を設けず、林中に築かれた石玉垣を神座としている。

『因幡誌』に絵図も記載され「岡森天王と称す。其祭る所神廟なし。…郷民伝へて云、此神の形甚高大なり、神託に我が形林梢と等し尋常の小祠に居る事を得ず、社宇を造るべからずと、因て社無し」と記し、神託の高丈は「崇健」に通じるとして、当社を式内社に比定している。

更に当社が古代の三輪（美和）郷内にあり、無社であることから大和国大三輪（大神神社）との関わりを示唆している。

境内末社もすべて石造りで、古い形のまま残っている。

陽成天皇元慶元年（877）9月の大嘗祭に班幣に預かったと伝える。
承安元年（1171）、源頼政が当社を信仰し、陶器製釣燈籠を献じたとの伝承がある。