創立年代不詳。上古、鈴見山（浦富元宮町）に鎮座していたが、大同元年（806）8月に蒲生川が氾濫して社地・社殿が流出したため、同年11月15日に現社地（大神が崎）に移遷したと伝わる。大神社荒砂大明神と称した。旧社地の跡には小祠を存し、その付近を元宮町という。

『日本三代実録』貞観15年（873）7月の条に、「授因幡国従五位上多神正五位下」とあるのは当社とされる。

安永5年（1776）、神祇官領長吉田兼雄染筆の大神社の社号の扁額が残る。

近世まで大神社また荒砂大明神と称したが、明治初年に荒砂神社と改称した。浜浦富町の氏神である。

本殿は五手先組の精巧な造作。五段組の龍彫刻は左甚五郎の高弟小倉園三郎の作とされている。