創立年代は詳らかではないが、京都の上賀茂神社を勧請して祀ったと伝わる。中世に一時廃れたが、元和４年（１６１８）に再建された。当時の棟札によると加茂郷２２村の氏神となっているが、今は僅か３村の氏神である。元弘の頃（１３３１）は名和氏の産土神であり、後醍醐天皇を船上山に奉じた時、当社に参詣し剣２口を供え戦勝祈願をした。その剣と祈願文が残っている。近世賀茂大明神と称したが、明治初年に村内摂社の糺大明神（玉依姫尊）を合祀して、賀茂神社と改称した。大正元年に加茂の古林神社（もと利寿権現　稚日女尊）、名和の東谷神社（もと荒神　素盞嗚尊）を合併した。

元和４年（１６１９）、天和３年（１６８３）、享保１０年（１７２５）の造営棟札が現存する。