創立年代不詳であるが、 寛文11年（1671）に現社地に奉遷した時の棟札が残る。もと十二所権現と称したが、明治元年霞社と改め、同7年霞神社と改称した。大正10年に霞の注連神社（天乃兒屋根命）、稲荷神社（倉稲魂命金山 彦命菅原道真経津主命）、白山神社（菊理姫命金山彦命大山祇命）、小原神社（素盞嗚命大山祇命）を合併した。平成18年バイパス新設に伴い全面移転した。 現社地の南東300ｍに権現と云う地（山地）があり、旧社地であったと云う。『伯耆誌』は注連神社（村の西の平地）について「左義長の式殊に厳重にして当日竹木に多く注連を張るが故に注連神社と号す」と記している。