創立年代不詳。古くより三角山峯錫権現と称する。

社伝によれば、文徳天皇斎衡二年（855）在原行平が因幡守となり入国に際し、当社を尊信し、奉幣献饌をしたと伝わり、『夫木集』に「行くさきをみすみの山を頼むには是をぞ神に手向けてぞゆく詠人不知」とあるのは、行平の歌と伝わる。

天正9年（1581）に羽柴秀吉入国し、影石城攻略に際し、兵火により社殿其の他焼失した。寛永3年（1626）に再建。

明治元年（1868）に三角山神社と改称し、同5年に東井神社の摂社となった。

『因幡誌』に「襟巾山、用瀬町の東に聳たる嶮山なり。山勢三角に峙ちて、頭巾の形なるを以て山の名とす。祭神峯錫坊権現と号す。麓より本社まで一八町山路は嶮し。嶺周り四十間許り怪石奇岩相積て、崩るるが如し。 その中に神祠を安ず。側小架あり籠堂と云ふ。山下に垢離場女人堂有て其より山中婦人を入れず。祭日八月二四日諸人登山して神光を仰ぐ。其群集をなせる譬へば蟻の熊野詣りをすると云ふにひとしと。信心の行者 は籠り堂通夜するも亦多し。是何の世に開けしや知れず。願ひ成就の人は色々の小石を手向て報賽とする事此里のならはしなり」と記されている。

神代の昔、天孫降臨に際し猿田彦大神が当山に住み給うことがあったので御栖山と称したのを、後に三角山と表記したとの伝承もある。