創立年代不明。近世まで三宝荒神と称した。

永禄2年（1560）大江鉢伏城主伊田下野守が社殿を再建した。ついで宝永6年（1709）9月本殿を造営した。

明治元年に西谷社と改め、明治6年に西谷神社と改称した。

古老の口碑に、貞観4年（862）疫病が流行し死者が多かったので、播磨国広峯の神を勧請して奉祀したという。