本社は建武年間（1334～36）出雲国美保神社から勧請したとされ、六尾村（当時西園部落の一部）「ハンシャ」と云う所に鎮座、若一位王子権現として崇敬されてきた。

明和8年（1771）、六尾村の大火に依り神社も焼失したため、現在地に遷座し、安永3年（1774）本殿、拝殿を新築した。

明治6年西園神社と改称する。大正5年村社東 園神社に合併されたが、西園部落は悪疫の流行と凶作に見舞われ、人々は空社の神社に詣でるようになり、大正8年西園 村の東端松林の中に鎮座の荒神社を、旧西園神社に奉遷し、建速神社と改称して崇敬したものである。

東園神社に合祀されていた旧西園神社（事代主命）を昭和21年10月に分離し、建速神社本殿に奉遷した。西園部落の氏神である。