創立年代は不詳。近世まで松上大明神と称した。

社伝によれば文治年中（1185～89）に小松備中守平師盛が参拝して甲冑を奉納し、元弘3年（1333）に後醍醐天皇京都へ御還幸の際、名和長年が鉾を奉り、貞和４年（1348）に山名伊豆守が鏡を奉納したと伝えられる。

当社はもと鶴尾山の八兵衛谷（三倉村）に鎮座していたが、応安２年（1369）に矢部若櫻守が鶴尾山に築城の際、山田村松上山の内の現社地に移遷、その後、矢部氏代々の守護神として崇敬された。

天正９年（1581）羽柴秀吉の因幡攻めのとき兵火にかかり、社殿、宝物を焼失。天正１０年（1582）木下備中守重賢が若桜鬼ヶ城主とな って社殿を修復したが再び焼失。慶長１５年（1610）城守山崎左馬之允家盛、甲斐守家治父子が社殿を再興し、郡中の大社とするとともに、赤松村から熊野権現（伊弉冉尊）を、三倉村から八幡宮（誉田別尊）を当社境内に移し新たに二社を建立した。

その後、この地方は池田氏の所領となったが、代々藩主の崇敬篤く社領並びに初穂料の供進があり、宝物等も奉納している。万延元年（1860）に本殿を改築し、熊野権現、八幡宮の両社を合祀した。

明治元年に若櫻社、明治４年に若櫻神社と改称した。明治４４年に若桜宿内の天尊日神社（天照大御神）と同社境内の稲荷神社（豊受神）、若桜宿内の荒神社（素盞嗚命）、秋葉神社（天御降産命）、稲荷神社（保食神）及び当社境内の稲荷社（倉稲魂命）、北野社（菅原道眞命）、山田社（大己貴命）を合祀した。

大正５年に三倉の村社三倉神社（もと八幡宮誉田別命）、浅井の村社浅井神社（もと牛頭天王、素盞嗚尊）、大炊の村社大炊神社（もと岡大明神彌都波能賣神）、高野の村社高野神社（もと妙見大明神國常立尊）、三倉の荒神社 （素盞嗚尊）、山神神社（大山祇命）、愛宕神社（軻遇突智神）を合祀した。

武内宿禰が下向の際に参拝されたという伝承や、履中天皇の朝に物部長真膽連が若桜部造の姓を賜って以来、その子孫が此の地に居住し崇敬したという伝承もある。