創立年代不詳。近世まで細男大神と称した。

明治元年（1868）細男社、同7年細神社と改称。

境内地周辺は、もとの因幡国分寺の金堂があった地と推定されており、礎石が散在する。