創立年代不詳。大永年間（1521～28）の兵火により文書等焼失した。

近世まで国司大明神と称していたが、明治になって瀬戸神社と改称した。瀬戸の全域が氏子区域である。 

もと飯ノ山（現在の御旅所）に鎮座していた。

往古入海であった頃は島山で、行き交う船筏の安全守護の神として崇敬されていたが、保元年間（1156～59）に要害山城主秋近氏が城鎮護の神として現社地湊山に奉遷したと伝える。