創立年代不明。

往古より現在に至るまで賀茂の郷（森、鎌田、吉尾、下谷、福田、小河内、笏賀、福吉、柿谷、田郎田、実光、鉛山）の総氏神であり、近世まで賀茂大明神と称した。

伯耆、因幡、美作等の諸国から参拝者があったという。

寛永10年（1633）因伯の国主より森村の内高3石6斗1升4合を社領として永代寄進。寛文12年（1672）に1丈四方出組の社殿を建立している。享保4年（1719）卜部神祇官領より正一位奉授。天保5年（1834）より毎年祈祷執行国主へ御守札献納。

安政6年（1859）卜部神祇官領より官社号を奉授される。

明治初年森村の倉稲魂神と末社罔象女神、武内宿禰神、大山祇神を合祀して賀茂神社と改称。

大正7年4月旭村内鎌田の鎌田神社（もと市倉大明神　大山祇神　倉稲魂命　保食神）、福田の福田神社(素盞嗚命）、下谷の下谷神社(もと氏宮大明神　伊弉諾尊　大山祇神)、同社末社七夕神社（もと七夕大明神　伊弉冉尊）、小河内の上野神社（もと山ノ神　大山祇神）、福吉の福吉神社（大山祇神）の六社を合併した。