旧『鳥取縣神社誌』は、神代の昔八束水臣津野命と大已貴命が山頂に於て神事を執行されて以来、神系の方々が祭祀に奉仕、現在の奥宮の地に磯城の瑞垣神南備を築き南面して山頂を拝して奉斎されたものであろうと記しているが、上古の沿革は不祥である。

『出雲國風土記』（意宇部国引きの条七）に「固堅立加志者有伯耆國大神岳是也」とあるのが初出の文献である。『続日本後記』承和4年(837)2月の条に「伯耆国無位会見郡大山神授従五位下」、『日本文徳天皇實録』斉衡3年(856)8月の条に「伯耆国大山神加正五位下」、同貞観9年(866)4月の条に「大山神正五位上」とあり、又『延喜式』神名帳（927）には「伯耆国会見郡大神山神社」と記されている。

大山中腹の礼拝施設は高所のため冬期積雪多く、奉仕に不便であったので、西８㎞下方の丸山の地に冬期の社殿を造り、夏期祭事は旧の大山にて斎行した。現在もこの丸山の冬宮跡を大神谷といい遺跡が現存する。
神仏習合時代は神職社僧合同奉仕となり、大山夏宮に大已貴神の本地仏として地蔵菩薩を祀り、大山権現或は大智明権現と呼称、近くに寺院仏閣を建立、平安・鎌倉期には智明権現社を中心に三院180坊僧兵3,000と称する大勢力を有した。平安末期丸山の冬宮は勢力大なるに従い狭く不便となり、川下の福万原に遷座、本殿方5間、廻廊7間、拝殿13間、土囲があり、数丁北方に随神門を有し、社領1,000石と伝え現在もその遺跡がある。

この頃大山夏宮に於ては、三院互いに争い僧兵度々合戦を重ね、室町時代に両社共に兵火により焼失した。この時代まで大山は神体山であり、夏宮に本殿は存在せず、祭儀施設のみであった。現在も御祭神四柱に対し五神座となっているのはその名残りかと思われる。文禄14年(1605)に大山夏宮（智明権現社）を再建、これより本殿・幣殿・拝殿を有する現在の社殿様式になった。

代々の領主の尊崇篤く、神領寄進、社殿造営等を行っている。吉川広家は大本坊の地に壮麗な社殿を造営して社領を寄進し、吉川氏岩国へ移封後も江戸時代には年々銀幣を奉納した。江戸初期、中村氏が伯耆領主となるや、家老横田内膳が神領を押収した為、豪円僧正が家康に乞い3,000石の大山領を許された。

その威勢を以て冬宮の社僧をも夏宮に集め（夏宮祭儀はその大山領下の神職に奉仕を命じ）、冬宮は神職のみの奉仕とする神官僧侶分離を行った。そのため夏宮は寺院の様相を呈し、二宮大明神と称せられた冬宮は次第に衰微したが、中間庄の豪農郡八兵衛が発議して、承応2年(1653)、尾高の現在地に奉遷して諸社殿を建立、江戸中期には再び西伯耆の名大社として崇敬された。明和5年の『神社改帳』には「二宮大明神七尺五寸間二間四方（注一丈五尺四方）末社門老父門老母朝宮権現新八幡宮」等の記述がある。

文化5年(1808)、用材は藩の用林より伐出し、人夫は汗入郡より徴して造営したのが現在の本殿である。天保6年（1835）に本殿を修復し、幣拝殿を新築した。一方夏宮は寛政8年(1796)に焼失したのを、文化2年(1805)に再建（現社殿）、内部は神仏習合様式で日本最大の権現造である。

明治4年、冬宮は大神山神社と改称し、国幣小社に列せられた。明治8年、夏宮（智明権現社）は大神山神社奥宮と改称し、仏教様式を廃した神社となり、本社と奥宮を合わせて一神社となった。尾高の本社は昭和61年の遷宮を期に社務所、手水舎等を新築し、6,000坪の社地内に山陰屈指の大菖蒲園を造成、千数百株の紫陽花と共に花の社として有名である。

大山の奥宮は平成7年に社殿内外を修復、幣殿内部に極彩色の装飾と日本最大とされる白檀塗（びゃくだんぬり）が再現された。

下山神社（もと下山大明神）　元徳2年（1330）、祭神備中國淺口郡司渡辺源五郎照政命が智明権現社（奥宮）参拝の帰路殺害され下山野塚に葬られたが、神霊の託宣によって智明権現社を六尺下った所に祀って以来霊験多々、武家の尊崇するところとなった。現在の八棟造社殿は石州津和野領主亀井氏の寄進である。