創立年代は不明。『日本文徳實録』斉衡3年（856）8月の条に「伯耆国―大帯孫神従五位上」とあるのは当社の事と考えられる。

棟札によると慶安2年（1649）現社地に移転再興した。藩主の祈願所として神領3石8斗7合を受けた。武門武将の崇敬厚く、汗入郡大社或いは高杉郷大社（元禄以前、高杉郷8ヶ村の氏神）と伝わる。伯耆6社の内の1社としてその造営歳費はすべて郡中より徴集する例があった。

明治初年に高杉大明神の旧称を廃し高杉神社と改称した。大正元年に宮内の一ノ御前社（細姫命）と二ノ御前社（松姫命）相殿三ノ御前社（千代姫命）を合併、同2年に平の平神社（もと若宮社　小葉枝皇子外三神）と宮内の荒神社（素盞嗚命）を合併した。平神社は戦後に分離した。現在は宮内集落のみの氏神である。

伝承によれば、雄略天皇の御代、地方住民が続々と災難にあった時、当社の御神託によって嫐の神事を斎行したところ神々の怒りがおさまり幸せに暮らせたので、今にその神事が継承されているという。毛利尼子の兵乱にあい財宝の多くを焼失したが、古神像2体は難を免れ現存しており何れも古代の彫刻とされる。

孝霊山（皇霊山）は景行天皇（大足彦命）の草創の地で、皇子押別命が居住されたという伝説があり、近くの山麓に皇族代々の宗廟と伝わる古墳群がある。また、日野を中心とする樂樂福神社の祭神として大日本根子彦太瓊命（孝霊天皇）と皇后細姫命が登場する。