創立年代は明らかでないが、往古より高山村、津野村の氏神で五社大明神（五社権現）と称した。

明治初年、境内末社稲荷大明神（保食神）、萩カナルの瀧大明神（罔象女神）の二社を合祀し、高山神社と改称した。

明治21年に現在の社殿を建立した。 中古、中世に熊野の五所権現を勧請したとも考えられる。