往古に伏見稲荷大社より勧請したと伝えられる。古くより稲荷大明神と称し、外邑（もと外ノ江村）の氏神である。

現存最古の棟札に「宝永二（1705）歳二月 奉建立稲荷大明神新殿」とある。

明治初年に字高谷に鎮座の大歳大明神を合祀して、稲荷神社と改称した。

大歳大明神は宝暦11年（1761） と天保4年（1833）の建立棟札がある。