『新撰姓氏録』に允恭天皇代「任織部司摠諸国織部因号服部連」と記され、『続日本紀』に元明天皇「和銅五年（712）二一カ国に始めて綾錦を織らせた」とある記事の中に因幡国も見える。当社もその頃の創立と思われる。

『日本三代實録』貞観16年（874）5月の条に、「授因幡国從五位下服織神從五位上」と記されている。

『延喜式』神名帳（927）には「法美郡服部神社」として所載。

『時範記』（1099）に国司巡拝の社として記されている。

寛永13年（1636）宝殿新造の棟札、「元禄三年（1690）五月従五位上服部神社一座」の小泉友賢書の木簡が残る。

近世は二所八幡宮と称されたが、明治初年に縣邸鎮座の摂社牛頭天王（素盞嗚命）を合祀して服部神社と改称、古称に復した。

海士部落の氏神である。