創立年代不詳。社伝に治承年 中（1177～81）左兵衛尉長谷部信連が当地に来たり、山城國賀茂神社勧請したものと伝える。文保元年（1317）、貞和3年（1347）の古棟札が 残る。往古は渡ノ郷5ヶ村の総産土神賀茂大明神と称し社領田2反5畝5歩を有したと伝える。近世以降は下渡（本郷） の氏神である。明治元年賀茂社と改め、 同6年賀茂神社と改称した。大正6年本郷の渡神社（表津海童命外9神）を合祀した。