創立年月不詳。近世には荒神宮と称した。

明治元年（1868）、小西谷社と改称。同7年3月小西谷神社と改称した（戦後の登記では小西神社と表記）。

『因幡誌』には、慶安2年（1649）、東照宮勧請の折、王子谷（樗谿）の村民が小西谷に移住したことが記されており、氏神は山王権現とある。