創立年月不詳。建久2年源頼朝の幕下佐々木高綱が領主としてこの地方に来て、大山寺領として汗入郡内の末吉、稲光、稲石（稲吉の古名）の三村内2町有余の田地を寄進したことが大山寺記録に見られる。

この地区に存在する四九窟の岩屋を初め、古墳時代からの遺跡、出土物から古くは現集落近くまで海であったと推定され、下津守神社と、中筒男尊を祭った中津守大明神（いつの時代にか廃社、今は跡地のみ）、上津守神社の三社があり、海の守護神として崇敬され、豊臣秀吉の朝鮮出兵の際には幣帛祈願があったと伝えられる。中古より大山寺領であったため神仏習合の時代には仏像も併祀されていた。棟札にも梵字を挿入したものがある。

明治初年に村内末社の貴船大明神、八幡宮、天神等を合祀して上津守神社と改称。大正4年に高井谷の村社下津守神社（もと下津守大明神　底筒男命）、同境内社牧守神社（もと荒神　素盞嗚命　稲田姫命）、同寳臺神社（もと寶大神宮　大己貴命　少彦名命）を合併した。稲吉、高井谷集落の氏神である。