創立年代不詳。往古は国司大明神また國主大明神と称した。口伝に大同年中（806～810）の創建で、古くは菅郷（現在の上菅、中菅、下菅）全体の産土神であったと伝える。近世より下菅村の氏神である。明治元年に下菅社、同6年に下菅神社と改めた。慶長10年（1605）9月の 棟札があると『伯耆志』にあるが、現存棟札は、寛文12年（1672）以降の6枚である。 境内の荒神社（もと牛頭天王）は、昔黒坂要害の戦死の将兵の屍を埋めたとの伝えがあり、具足神と称したと『伯耆志』にある。鎧塚ともいい、天保年間（1830～44）に鉄鎧が多数出土したと云う。（『伯耆志』には、これは別の場所の荒神様とされている。）