創立年代不詳（社伝には大化5年（649）という）。

出雲国須賀ノ山より素盞嗚命を勧請して牛頭天皇と称し、また大己貴命を奉斎して山王大明神と称し相殿に祀ったと伝わる。

天正年間（1580頃）に羽柴秀吉入国の時、兵火により社殿焼失。宝暦5年（1755）4月に彫刻を多く施した精巧な造りの本殿を再建（現社殿）。

明治元年高藤神社と改称した。