『三代実録』巻４４元慶７年（883）１２月の条に「因幡国正六位上虫井神従五位下」と記されている国史現在社である。

当社の東は古くより虫井谷と呼ばれている。『因幡誌』は、往古、夷住山に三神が降臨したという伝承があることと、『伊福部氏系図』の中に「武牟口命と云あり。景行天皇御宇、日本武尊に従て稲葉夷住山に住める荒海を征伐せらるる時に、荒海里人都都良麻参り迎へて槻の弓八枝献じける」という趣意の記述があることなどから、当社の創立を景行天皇の御代としている。山形郷十六村の総氏神である。中古以来数度の兵火にあい廃朽を余儀なくされた。

嘉慶元年（1387）の棟札には「奉造立普光山三社妙見荒海三瀧」等の文字が記されている。永享１２年（1440）大江美濃介師真によって六～七町下の字ハセツコウに移転再興された。正徳４年（1714）に社殿を改築。『因幡誌』（1795）の神社絵図には三社造りの社殿が描かれている。文化４年（1807）に社殿を改築。明治初年の絵図には三殿並立の姿が描かれている。近世まで妙見社（葦津の妙見さん）と称したが、明治初年に旧号の虫井神社と改称した。

明治２年５月大呂村字サコ田に鎮座折井神社（もと折井大明神　天之御中主尊）（『因幡誌』は虫井神三社の母神としている）を合祀。明治４年に郷社に列せられた。大正５年６月、芦津の芦津神社（もと荒神　素盞嗚尊外二神）、八河谷の八河神社（もと三宝荒神　素盞嗚尊　宇賀魂命）、西野の西野神社（もと牛頭天王　素盞嗚尊）を合祀。大正１０年１０月社地を山麓の現在地に移し、本殿・幣殿・拝殿を新築した。

なお旧社地は現社殿より140ｍ程高い尾根に在り、安永９年（1780）の石製手水鉢が残っている。 昭和１０年１０月に昇格、県社に列せられた。