創立年代不詳であるが、一説に文治年中（1185～90）に小松備中守平師盛が此の地に来たり辨才天を信仰し、巨岩を以て神詞となし奉祀したものと伝わる。

若桜城主であった矢部、木下、山崎の三家の祈願所とされ、近世に至り池田家の尊信特に篤く近郷民衆の崇敬を集めた。

『因幡誌』は「諸人辨財天と称して崇敬する事甚だしく、毎年九月巳の日祭りて諸方より参詣す。或は雨を祈りし年には七月巳の日雨乞躍りとて郷中の男女来りて謡躍をなす。何の世に始まりしにや久しき事なりとぞ」と記している。

大正５年９月に辨天神社境内に社殿を建立し三倉の池谷神社（神日本磐余彦命）と虎石神社（手力雄命）を合祀して江嶋神社と改称した。

盛時は数千人の参拝者があった。合祀の池谷神社はもと若一王子と称し、寛政９年（1797）の創立と伝えられ、虎石神社はもと虎石大明神と称し、享保１０年（1725）の創立と伝えられる。昭和７年に拝殿を建立。

社号は相模の江ノ嶋弁財天社に因む。