創立年代沿革等不詳。崇神天皇の御代に大和国大神神社の分霊を奉遷したとの口伝もある。

近世まで三輪大明神と称されたが、明治初年に三輪神社と改称した。

大正2年12月に下北条の八幡神社に合併されたが、土下の村民は産土神の旧殿に参拝して祭礼を続行した。

昭和15年に始まる神社編入の懇請が認められ、同17年7月に主祭神大物主神に、土師の祖神である埴安神を合祭して大神神社を設立することを許可された。

ただちに境内地を整備して旧殿に数倍する諸社殿を建立した。

昭和19年10月に八幡宮に合祀されていた大己貴神を分離奉還して遷座祭を斎行した。