『延喜式』神名帳（927）には「幡井神社」とあるが、近世まで幡井（幡屋）大明神と称した。

社伝は宝亀3年（772）に勧請したと伝える。

明治初年、境内末社稲生神（保食神）と天王の摂社稲生神（保食神）、摂社子守大明神（天熊人神）を合祀して幡井神社と改称した。

大正5年、絹見字引地の引地神社（もと牛頭天王須佐之男命）と村社長和瀬神社、同境内神社水無瀬神社を合祀した。

昭和21年、長和瀬、水無瀬両社は分離した。

口碑に古来社地を転じること三度、現社地に鎮座され、郷中の大社で因伯にまたがる久津賀七庄（絹見、長和瀬、筒地、石脇、泊、園、宇谷） の氏神であったが、中世以降は絹見一村の氏神になったと云う。

本殿には、力感に満ちた彫刻が多く施されている。