創立年代不詳。『三代實録』貞観９年（８６７）４月の条に「伯耆国正六位上賀茂神従五位下」とある。寿永３年（１１８４）『源頼朝下文案（賀茂別雷社御領庄園）』に伯耆國星河庄、稲積庄と記載されている。当社社帳に記す所によれば星河荘１１ヶ村の総社とあって、貞観１３年（８７１）卯８月吉祥日安樂寺長倫雙以抜と記されている。安樂寺は当社の神宮寺である。寛平９年（８９７）４月吉祥日安樂寺長倫雙以抜とある数百巻の大般若経があったといい、現今其の巻物の幾部を存する。又圓形銅製仏式具があり、裏は木製で文安４年（１４４７）代官石塚山城とある。天正１２年（１５８４）と安永７年（１７７８）に社殿を建立。藩主池田氏より社領高５斗７升寄進。近世まで賀茂大明神（賀茂皇大神宮）と称したが、明治初年に境内末社の春日大明神と山王大明神（大山津見命）を合祀して賀茂神社と改称した。大正５年３月賀野村高姫の高野女神社（もと高女大明神　倭比賣神）、市山の子守神社（もと子守大明神　玉依姫命）、朝金の大森神社（もと大森大明神　素盞鳴命　大己貴命　少彦名命　倉稲魂命　誉田別命）、浅井の日御碕神社（もと日御碕神　天照荒魂命）、朝金の馬平神社（もと荒神　素盞鳴命）、縄平神社（もと大多羅大明神　大山津見命　素盞鳴命）、田住の住吉神社（もと若宮大明神　栲幡千千姫命）を合併した。氏子区域は、南部町宮前１区、浅井、髙姫、縄平、市山、田住、諸木である。当社の南方２００ｍの所に神宮寺跡地があり、東北方１００ｍ下に代官屋敷址がある。今の宮前を流れる小松谷川を星河ともいう。東方２００ｍ余りの所に昔の神田と遥拝所があって「カンナワ」と呼んだ。付近に伏拝と云う地名があり、星河には「ヨコヤ（代官家）堰」と云う河堰がある。