創立年代不詳。古来賀茂大明神と号し神田等数石あったとされ現在も神田という地名が残るが、古文書等は文禄年中（1592～96）に焼失した。

明治初年に賀茂神社と改称した。この時境内末社熊野権現（伊弉諾命　伊弉冉命）、鷺大明神（稲背脛命）を合祀した。

明治42年に所子の糺神社（もと糺大明神（末社9社）神日本磐余彦命　玉依姫命　鵜草葺不合命　譽田別命　倉稲魂命　大日孁貴命　大山祇命　稲田姫命　猿田彦命　鈿女命）を合併、大正5年に神原の村社熊野神社（もと熊野権現　伊弉諾命　伊弉冉命　五十猛命）を合併、同6年に福尾の村社杉谷神社（もと杉谷大明神　大己貴命　少彦名命）、福尾神社（もと辨財天　倉稲魂命　厳島姫命）、上野の稲荷神社（もと稲荷大明神　倉稲魂命）、平木の平木神社（もと若宮八幡（天神）　大鷦鷯命　菅原道眞）を合併した。

神原、平木、所子、上野、福尾、栄、各集落の氏神である。