創立年代不詳。往古より下阿毘縁の産土神で、近世まで王子大権現と称された。『伯耆誌』は天文19年（1550）の棟札について記している。明治元年に村内の小社（大山祇命猿田彦命）を合祭して下阿毘縁社と改め、同6年に下阿毘縁神社と改称した。下阿毘縁のうち社地区の氏神である。