創立年代不詳。

近江国の日吉社より勧請して亀山日吉山王と称し、矢送庄9か村の大社として崇敬された。

古来武門武将の信仰篤く、文応元年（1260）に地頭大坪左右衛門忠重、正慶2年（1333）に日笠五郎左衛門信近、天文元年（1532）に備中松山城主の家老目賀田新兵衛春吉他が本殿を建立している。

その後も大塚氏、南條氏、小鴨氏等による社殿建立の記録が残る。

天明6年（1786）の久米神社由来書によれば、松平相模守領内348社の内5社の大社に選定されている。

明治初年に地名に因み金屋（金谷）社と改称。

明治44年に旧号により日吉神社と改称した。

大正4年関金宿湯関の湯関神社（もと日吉山王の御旅所王子　建御名方神　大山祇神　道眞神　倉稲魂神）、郡家の郡家神社（もと牛尊大明神　大山祇神）、湯関池ノ谷の山口神社（もと山ノ神　大山祇神）を合併した。

金谷、大坪、郡家、滝川、上町、中町、本町の氏神である。