創立年代不詳。社伝によれば、当社もと氷ノ山（須賀ノ山、清ノ山とも云う）の山頂に鎮座し須賀神と称し、因幡国八東郡、但馬国七味郡、播磨国宍粟郡、美作国吉野郡の総社として鎮座。寿永、元暦の頃（1184頃）より天下兵乱の影響を受けて昔日の盛儀を欠き、天授（永和）4年（1378）9月2日に山麓14村の協議の末、翌日本社へ先登した村に下遷することとなり、舂米村の代表が9月3日未明に先着し、御神体を本殿の扉に載せて下山奉遷してより蔵王権現と称し舂米村の氏神としたと伝わる。山上には諸社殿の礎石が現存する。弘化2年（1845）本殿を再建。明治元年末社前生土神（舂米の祖神、伊香色雄命）、稲荷神（倉稲魂命）、山ノ神（大山祇命）、瀧ノ神（瀬織津姫命）を合祀し舂米社と改称。明治6年舂米神社と改称した。