『日本三代實録』貞観15年（873）12月の条に「授伯耆国正六位上三輪神従五位下」とある国史現在社である。

社伝「三輪神社沿革誌」に崇神天皇の御代、大和国大神神社の分霊を勧請したものである と伝え、昔は現社地の東南七町余の三輪山と呼ぶ丘陵に鎮座、境内は東西8町、南北6町余、東を宮広峰、中を鳥居峰、西を堂の峰と呼び、その中に社殿が建ち並び、三重塔を持つ神宮寺もあったと伝えられている。 

中古は東は阿弥陀川から西は日野川に至る51ヶ村の総氏神であったと言われている。元徳（1329ー31）の頃には西伯耆の守護所であった小波城主大石橋氏の祈願所でもあったが、元弘3年（1333）の船上山合戦、大永4年（1524）の尼子氏の侵攻による兵火により、社殿、社宝等が焼失し、往昔の規模を保ちがたく、正保2年（1645）に現在の地に遷された。

その後も旧藩主池田氏より社領を寄進され、中間庄大社として崇敬を集めた。近世まで三輪大明神と称されたが、明治初年に三輪神社と改称。大正５年に大高村泉の下泉神社（素盞嗚命）を合併した。小波浜、小波上、泉地区の氏神である。

毎年、春の祭りに大和国御諸山（三輪山）から狼が到来し、秋祭の後に帰っていたが、元弘の頃からは不思議のある時にのみ来るようになったという伝承を受けて「狼神事」が今に伝わっている。