創立年代は不詳。往古より牛頭天王と称した。

文化4年（1807）頃より神主、庄屋以下村中の総意により、社名を「桂木大神宮」と改称すべく、神祇管領家（京都 吉田家）と鳥取藩に願出差出し、同8年（1811）に許可され社殿を建立している。この時に神祇管領家より拝領した「桂木大神宮」の掛け軸が保存されている。

天保11年（1840）6月、本殿再建。

明治元年（1868）、桂木社と改称、更に同7年3月桂木神社と改称。

昭和62年に拝殿を改築した。
江戸時代より明治末期までの棟札15枚が現存する。