創立年代不詳。往昔、京都賀茂別雷神社より御分霊を奉遷し、大平山（おおなるやま）の頂上に鎮座し、その後、中腹の小平に遷し、後にまた山麓に奉遷したと伝わる。尼子經久が当国を領するに至り崇敬篤く、社領百石を寄付、度々参拝祈願、奉幣、社殿造営のことがあったという。

尼子氏滅亡と共に当社も次第に衰微した。享保１８年（１７３３）藩主池田氏より社領高１０石の寄進があった。猪小路、北方、原、小原、新庄、上阿賀、下阿賀７ヶ村の氏神で近世まで賀茂大明神と称した。

明治初年に賀茂神社と改称した。大正５年にもと北方の北方神社（もと若一王子権現　豊岩窓命）と原の小原神社（もと客大明神　大己貴命　小彦名命）を、同６年にもと阿賀の阿賀神社（もと若一王子権現と牛頭天王　豊岩窓命　素盞嗚命）と田邊神社（もと田邊大明神　倉稲魂命）を合併した。境内の鷺神社（もと鷺大明神　稲背脛尊）はもと雲伯国境渡田ノ峠に鎮座し古来疱瘡神として信仰され藩主池田氏の祈願所であったという。また糺神社（もと糺大明神　玉依姫命）は当社と同時の創立と思われ、本社とあわせて賀茂両社あるいは賀茂下上大明神とも称されていた。