天正19年（1591）9月大山から勧請したと云う。

それ以前は今の境内神社子安神社が由良郷の総産土神であったが、当国領主の南條元忠が武威を以てこれを廃し、大山智明大権現、下山大明神を此の地に奉祀させたものであるという。

朝鮮の役に南條の君臣が1人も従軍しなかったので、豊臣太閤がこれを責めてその封を減じ、伯耆西三郡（河村、久米、八橋）を割いて吉川に与え、東三郡のみを南條領として存置したが、東西領の境界論が起こり、元八橋郡退休寺慶聚院の僧梅天がその検定者となった時に、大山を西領とし東領外としたので、この検定を不当であるとして、梅天を刑に処し大山の神を此の地に遷し祀ったのであると伝える。

寛永9年（1692）国主池田光仲が由良官庫の米を海路京阪地方に廻漕するにあたり、海上安全を当社に祈願した神事が今に伝わっている。

明治初年、智明大権現を高江神社に、下山大明神を立石神社に改称した。明治7年立石神社（麓山祇命）を合併、大正3年由良宿内東新屋敷の金刀毘羅神社（金山彦命大己貴命素盞嗚尊猿田彦命）を、同4年由良宿の大山神社（もと牛頭天王素盞嗚尊）を合併した。由良宿の氏神である。背の高い本殿に、力感あふれる彫刻が施されている。鳥居額には高江神社と立石神社が併記されている。