創立年代不詳。『稲場民談記』には荒神三社と記され、『因幡誌』には「鎮守大明神（祭荒神三社）摂社稲荷弁財天」とある。

明治元年（1868）櫻谷社、明治7年3月櫻谷神社と改称した。

境内隣地に、一時長慶天皇崩御の墓と伝えられた三基の五輪塔がある。