奈良朝文武天皇の時（701～）、山野育成の神「大山祇命」を伊予国から勧請し、賀露、秋里、江津、南隈、晩稲の5か村の総守護神として奉祀したという。

天平勝宝6年（754）冬、遣唐副使吉備真備公が帰朝の際、風浪の難の為に賀露津に漂着されたという故事により、吉備大臣の分霊を奉祀した。

六国史の『日本三代實録』の貞観3年（861）10月の条に、「因幡国正六位上賀露神授従五位下」と記され、以下、貞観16年（874）5月「従五位上」、天慶元年（877）6月「正五位下」、同12月「従四位下」、元慶2年（878）11月「従四位上」と5回の神階奉授の記述がある国史現在社である。

承徳3年（1099）2月26日、因幡国司・平時範が参拝した様子が『時範記』に記載されている。

戦国・江戸時代を通して武門藩主の崇敬が篤く、神田、社領の寄進や社殿の造営、奉幣が行われた。

寛文2年（1662）には現在の状態に神域が整備された。

現存の随神門は、藩主池田公が宝暦2年（1762）に寄進したものであり、三つ葉葵、揚羽蝶、祇園守の三紋が取り付けられている。吉備大神、賀露大明神と称され、『稲葉民談記』（1688）には「毎年7月7日祭礼ありて、国中の貴賤群集す…」と記されている。

明治17年（1884）、18年には元鳥取士族105世帯500余人の釧路開拓移住に際し、安全祈願をしている。

昭和54年（1979）、神社会館を建設。

平成8年、敬神婦人会を結成。

吉備真備公が帰朝の折、賀露津に漂着されたとの由緒があり、それに因む地名が数ヶ所残されている。その折、村人こぞって吉備公を陸地に奉曳したことから「ホーエンヤまつり」の呼称がある。

宮司岡村氏は天徳2年（958）より社家を継続し、現宮司で50代に及ぶ。