『三代實録』には、貞観9年（867）4月の条に「伯耆国 正六位上湊神従五位下」と記される国史現在社である。

上代の社地は花見荘羽合郷湊浦色見山であったが、貞応2年（1223）に大宮の地に遷座と伝わる。

『伯耆国河村郡東郷荘 絵図』（正嘉2年（1258））には、現在とほぼ同所に「大湊宮」とあり社殿が描かれている。

『神祇宝典』（1646）巻七諸国神叙位の条に、「伯耆国式外湊神社水戸ノ神速秋津彦神也―以下略」とある。

武将の崇敬が篤く、天文年中（1532～55）尼子晴久は社領百50石を寄進し、吉川元春は社殿を造営して神領50石を寄進している。

池田光仲以後も社領50石とし因伯大守祈願所とされていた。

天明6年（1786）に橋津に大火があり、神社も焼失したので上段（現在地）に移遷した。寛政3年（1791）本殿を建立した。

近世は湊大明神と称されたが、明治初年末社天満宮を合併して湊神社と改称し、郷内総氏神と定められた。

大正3年2月に大字赤池字墓迫りの村社赤池神社（もと荒神素戔嗚命）、大字橋津字見込谷の岩伏神社（もと三宝荒神幸神稲荷大明神倉稲魂命）を合併した。橋津、上橋津、赤池地区の氏神である。