創立年代不詳。社伝によると貞観の頃（860年頃）、因幡国内に疫病が流行した際に鎮疫の神として神徳の高い播磨国廣峯神社の分霊を勧請奉祀したものという。

『陰徳太平記』巻48に、元亀3年（1572）、山中鹿之助が久松の城に押寄せる際の記述に「天王の尾より山伝いに…」とあり、当時既に当社が鎮座していたことが知られる。

享保5年（1720）の石黒火事の際、社殿類焼、古記録等も焼失した。

元文3年（1738）、卜部神祇管領より正一位の宣旨があり、正一位牛頭天王と称し、社地を天王山といった。幣殿・拝殿は寛保2年（1742）建立の優美な建物。

文政9年（1826）、正一位牛頭天王祇園會永代講の棟札もあり、氏子地区のみならず、近隣の人々にも広く崇敬されている。

明治元年（1868）、栗溪神社と改称。
境内末社稲荷神社は、往古は地主神ともいい境内の鎮守として一段上の山口の方に鎮座していたが、正保あるいは慶安の頃（1644～51頃）に、藩主池田家の命により現社地に奉遷されたという。
現存する最古の棟札は、享保5年（1720）、牛頭天王社宮殿再建のもの。