退休寺集落東方の丘陵地に山王屋敷があり、現在も山王山と称して小祠を奉斎しているが、往古退休寺の氏神として祀られていたという。明和の『神社改帳』（1767）には山王二十一社と記されている。

明治元年の神社改正の際、廃止となったが、氏子は発奮協力して社殿を建立し、翌2年に設立を認められたという。

昭和52年に拝殿、参籠所、随神門を新築し、境内も整備した。

退休寺は旧村名を「とうごい」と云った。この地は大山寺参詣の一参道で、遥拝のための鳥居があり、それを越えて参拝したので「鳥居越え」ではないかと云われている。