創立年代は不明であるが、由緒口伝等から、創立当時、当地方の主産業が倭文（しづおり）の織物であったので、倭文の祖神、建葉槌命と共に当地と関係の深い下照姫命を加えて祭神としたものと推測される。

他の5柱の神は下照姫命の兄弟神と関係の深い神々である。文献上の初見について『日本の神々ー神社と聖地』は平安時代の医学書『大同類聚方』（808） に記される「□利薬□□川村郡倭 文神主之家尓所伝方、元波下照姫神方也」としている。

『文徳實録』 斉衡3年(856)8月の条に「伯耆国倭文神従五位上」とあり、『延喜式』神名帳(927）には「伯耆国川村郡倭文神社」と記載されている。また、『日本紀略』天慶3年（940）9月の条に「奉授伯耆国従三位倭文神正三位」と記されている。伯耆一宮、また一宮大明神と称された。勅額と称する「正一位伯州一宮大明神」と刻まれた年代不明の古額が現存している。

中古は勅使の参向があったと伝えられ、 本社の東南、境内の一角を勅使屋敷と称している。当社の社領は千石の御朱印地と伝えられ、神仏習合時代は、天台宗に属する神宮寺が数々存在した由で、それを証する地名も各所に点在するが、戦国時代に社領を武将に没収され、神社のみを残して、神宮寺は四散したと伝えられる。

 鎌倉時代正嘉2年（1258）の『伯耆国河村郡東郷荘下地中分絵図』 には、当社が現在地に記入され、各所に「一宮領」の文字が見える。大永年間（1521～28）戦乱の為社殿を焼失、社領も没収されたが、 天文23年（1554）尼子晴久が社殿を造営し、神領70石を寄進し た。その後、神領が絶えたが、元亀元年（1570）南條宗勝がこれを 復旧した。天正9年（1581）吉川元春が馬の山に着陣の際、その子元長が当社の社人を追放して、籠居していたが、羽柴秀吉が大軍を率いて御冠山に迫った時、元長は当社の霊夢に感じ、神威を恐れ幣物を奉り、 軍を馬の山に引いた話は有名である。

羽衣石城主南條元続は当社の荒廃を嘆いて再興を計り、社領を改め新地を寄せ、代官として貝屋・青木の両人に社領を監査させた。慶長5年（1600）社殿を焼失。寛永2年 （1625）三間に六間の神殿を造営。同10年（1633）池田藩主から神領4石9斗二升の寄付を受け、藩主の祈願所となった。その後社殿が荒廃し、文化15年（1818）に再建したのが現本殿である。

祭日の神輿渡御は、天正年間戦乱で中絶したが、延享2年（1745）に 再興し、祭日には藩の家老和田家（湯梨浜町小鹿谷陣屋）から警護の士鉄砲6人をつけられている。明治5年県社に列した。昭和初期に拝殿、 社務所などを改築し、昭和14年国幣小社に昇格した。

湯梨浜町の内、宇野、宇谷、長江、藤津、宮内、福永集落の氏神である。 大正4年旧境内（現社有地）字御参所より、銅経筒・仏像・古鏡等が 出土した。経筒には「康和5年（1103）伯耆国河村東郷御坐一宮大 明神」等の刻銘がある。（「一宮大明神」の称は全国初見）大正九年出土 品の全てが国宝に編入された。昭和30年放火により神輿庫・神輿、社務所を焼失したが、何れも再建された。

永和元年（1375）三徳山の投入堂（蔵王殿）の檜皮葺の屋根替え をしたのは、当社に住居する作州・当国一宮兼帯の大工であった。（『鳥 取県史二中世』） 

社伝・古老の伝承によると、大國主命の娘下照姫命が、国譲りの後出雲から当地海岸、宇野と宇谷の中間「仮屋崎（かりやがさき）」に着船 されたと伝えられ、「お腰掛け岩」、「お舟岩」、「亀石」、「化粧水」等の 名が伝わっている。命は死去されるまで、当地で安産や利薬の普及に努力されたと言い「安産岩」の名称も伝えられている。

倭文の織物が姿を消した後は、下照姫命に対する安産信仰が強く残って現在に至っている。