文治2年4月（1185）の創建と伝わる。下榎庄（尾江路、 楢原、印賀原、本山、井原、下榎）の産土神で嚴島大明神と称した。社伝によると、治承年中（1177～81）高倉宮以仁王に仕えた左兵衛 尉長谷部信連が配流となって当地に居住して後、文治2年に安藝の宮島、 嚴島大明神を勧請奉祀したものと伝えられる。慶長18年（1613）庄山領主関長門守より社領八石を寄進。寛文7年（1667）の社領は一石三斗。明治元年に境内末社の稲荷大明神と村内末社の諏訪大明神、 八大天王、道祖神、山ノ神を合祀して嚴島社と改称し、同6年に嚴島神社と改称した。大正7年下榎の宮﨏神社（國常立命外9神）を合併した。