創立年月不詳。往古は藤森山に鎮座していたが、後年小白山の現社地に奉遷したものである。

旧神社誌によると慶長１５年（１６１０）黒坂城主関一政により社殿移転とされている。近世、藤森大明神と称したが、明治初年に藤森神社と改称した。

『伯耆誌』には山城国（伏見）藤森神社を勧請したと記されている。同社の主祭神も舎人親王とされている。