創立年代不詳。往古より大神山神社の摂社で赤岩権現と称した。幽邃の山腹、赤い岸壁の間に鎮座するところから此の社号がある。明治初年に末社祇園天王（須佐之男命　稲田比賣命）を合祀して赤岩神社と改称した。藩主池田光仲が寛永９年（１６３２）に社領３石、寛永１３年（１６３６）に祭田５畝、寛文７年（１６６７）に社領１石７斗を寄進している。