孝霊天皇の御宇に現地に勧請したとの伝承もある。近世まで吉瀧（賀瀧）大明神と称した。

古くから国主の崇敬が篤く、社領2石1斗9升3合を寄進された。

明治初年、西村内の山ノ神（大山祇命）と境内社稲生大明神（倉稲魂命）を合祀し、吉瀧神社と改称した。

大正6年に桑原の桑原神社（もと荒神　素盞嗚命　もと木船大明神　天津眞浦神　天津麻良神）と澄水の澄水神社（もと子守大明神　天津日高日子番能迩迩藝能命　もと宝大明神　保食神　もと山ノ神　大山祇命）を合祀した。