『伯耆国風土記』（713）逸文―釋日本紀巻七所引―に「相見郡々家西北有餘戸里　有粟嶋　少日子命蒔粟莠實離々　卽載粟彈渡常世國　故云粟嶋也」と記されている。

御祭神の少彦名命は、神代の昔、大已貴命と共にこの国を開き、人々に医療の法を教えた神であり、後に常世の国にお渡りになるその最後の地がこの粟島であると伝わる。

当社の創建年代は不明であるが、古代より神の宿る山（神奈備山）としての信仰があり、神功皇后、後醍醐天皇御祈願の伝承がある。

永正年中（1504～21）に尼子経久のために兵火に罹り焼失したが、大永4年（1524）に同人が社殿を再建した。

元禄2年（1689）社殿を焼失、同3年に再建。近世は粟嶋大明神と称した。米子城主代々の崇敬等も記録に残る。

明治初年に粟嶋神社と改称した。大正2年に後藤の北野神社（菅原道真公）と下粟嶋の餘戸神社（宇牟伎比賣命）を合併した。

大正11年12月に社殿を焼失。昭和１１年に再建した。

病気平癒、延命長寿、安産等の祈願が多く、広範囲にわたる崇敬を集めている。 延命長寿の守神「八百比久（はっぴゃくびく）さん」…山麓の西側の海岸近くに、粟島が島であった頃にできた洞穴がある。昔人魚の肉を食べて八百歳迄長生きをした娘の悲しい物語が伝わる。また、万葉集に詠まれている「静の岩屋」はこの洞穴とも伝えられる。「お岩さん」…境内を右に廻った所に小さな岩を御神体として祀っている。御祭神の少彦名命が、粟島に船で到着され、最初に上陸された場所とも伝わる。