往古土豪羽田某なる者が羽田井集落を開き、宮の谷に山城国より賀茂御祖大神を勧請して氏神として祀っていたと伝わる。戦国の頃、領主南條氏が厚く崇敬して社領を寄進した。現存するのは正保2年（1645）の棟札と、神田と称する旧地名である。

近世賀茂大明神と称していたが、明治元年に賀茂社、同6年に賀茂神社と改称した。境内北隣に荒れた境外地があったが、昭和40年に有志が整地して約340㎡のグラウンドを作り、毎年例祭日に部落運動会を開催している。
『鳥取縣神社誌』によれば、元弘の昔後醍醐天皇が船上山に向かわれる途次、賀茂社の名をお聞きになって都を偲ばれ、武運長久をお祈りになったと伝えられている。