創立年代は明らかではないが、往古より賀茂大明神と称した。

口碑によれば、山城国賀茂別雷神社の分霊を奉斎したと伝わる。

萬蔵、大水、尾續、細尾4ヵ村の氏神として奉斎され、加茂大明神（カモジ大明神）と称した。

明治初年に境内末社稲荷大明神（保食神）を合祀し、賀茂地神社と改称した。

明治41年12月に村内の尾續神社（須佐之男命）と大岩神社（須佐之男命）、上岡神社（須佐之男命）を合祀した。