創祀不詳。『境港沿革史』には、源頼朝が勧請し伯耆国八社八幡の一つとしたと伝えられ、建久7年（1196）佐々木義清が幕府の代参として、弓矢・神馬を奉納、承久3年（1221）には後鳥羽院が、又、元弘2年（1332）には後醍醐天皇が参拝されたとも伝えられる。この頃は社殿社領とも宏大であったが、山名氏、尼子氏の戦乱に遭い衰えた。その後尼子氏によって再興したが、永禄（1558～1570）の兵乱で再び荒廃した。

慶安2年（1649）池田氏により復興され、 寛文7年（1667）社領七斗が寄せられた。（藩史）上道、中野、福定、竹内、高松村の産土神として信仰され、寛政年間（1789～1801）以降は、若狭、但馬、石見などの廻船業者の参詣、寄進が相次ぎ、明治初年に正八幡宮の旧称から大港神社に改称された。

大正4年に境の龜井神社（もと新八幡宮　龜井能登守安綱　清若丸　手島四良三郎　小礒亦四郎）を合併。

昭和8年郷社に昇格。昭和27年に 境町字宮ノ西の旧郷社餘子神社（もと餘子三社大明神　稲田姫命　脚摩乳命　手摩乳命）、同末社日御碕大明神（大日霎貴命　素盞嗚命　倉稲魂命）を合併した。

餘子神社（創祀不詳）には明応9年（1500）再建の棟札があったと伝えられるが、昭和20年の戦災により社殿と共に焼失した。