創立年代不詳。往古より山上村の氏神で牛頭天王と称した。

天正年間（1581頃）に火災により社殿を焼失したが、享保6年（1721）に再建したといわれる。

明治初年に山上神社と改称した。大正元年に諸木神社（私都神社）に合祀したが、戦後分祀奉遷した。