興国6年（1345）、布勢天神山城主山名時氏が国中無双の大社として九院の仏閣を巡らし、九相天台の奥義をもって、叡山山麓の坂本「日吉大社（山王二一社）」の分霊を勧請し奉斎したと伝えられ る。

天正8年（1580）、羽柴秀吉の因幡攻めにかかり焼亡、神職は神霊を奉じて鳥取魚町日吉彦資邸に難を避けた。

慶長9年（1604）、亀井茲矩によって復興された。

元和3年（1617）、池田光政が因伯両国の藩主となるに及び、布勢の町勢は鳥取に移り、山王社も衰微の様相を呈したが、その後も藩の祈祷所として崇敬され、享保元年（1716）、 嘉永3年（1850）に本殿等が建立されている。

藩主の若殿姫君以下、 士分、町人の幼童まで、幼児愛護の神徳が伝播されていった。

明治初年に山王権現の旧称を廃し、日吉神社と改称した。

昭和前期の例祭日には参拝者が2万人を超え、臨時列車を増発する程の盛儀であった。

明治25年に銅猿が鋳造奉納されたが、大東亜戦争に供出。昭和25年5月に再建された。

参拝者に「お猿さん（ぬいぐるみの猿）」を奉納する慣わしがある。