創立年代不詳。大永4年（1515）春、尼子経久大挙の兵火によって、宝物、古文書等悉く焼失した。随神門に安置していた木像１体のみ現存。将軍足利義政の庶子、谷野若狭守源成安が乱を避けて当地に帰住、直ちに大永4年（1515）12月に社殿を造営し、新たに近江より山王宮（日吉大社）を勧請した。境内末社天之佐奈咩神社は樹木鬱蒼としている小丘古墳に鎮座、古代の佐奈咩神の神跡として現今も畏敬されている。

『日本三代實録』貞観16年（874）7月の条に「授伯耆国正六位上天之佐奈咩神従五位下」とあるのは当社のこととされ、後に山王宮を勧請した事が伺える。近世まで山王権現（山王二十一社権現）と称したが、明治初年に日吉神社と改称した。

大正2年に宇田川村福井の福井神社（もと荒神　素盞嗚命）を合併、同5年に高麗村保田の保田神社（もと若宮　建御名方命）、今津の今津神社（もと荒神　素盞嗚命）、日御碕神社（もと御﨑　武甕槌命）、淀江町淀江の稲荷神社（もと稲荷大明神　倉稲魂命　稚産霊命　保食神　天日方奇日方命　蛭子命　素盞嗚命　稲背脛命）、淀江神社（もと牛頭天王　素盞嗚命　稲田姫命）、大和村平岡の平岡神社（もと利寿権現　稚日女命）、小浪の日御崎神社（もと日御﨑大明神　天照大御神　素盞嗚尊）を合併した。

明治35年に旧国鉄（現ＪＲ）が境内を横断して開通、社地狭隘となったが、あらためて境内を拡張し、社殿の造営を進め、大正15年5月に竣工した。淀江町今津、淀江、西原、平岡、福井、大山町保田の氏神である。