祭神大江磐代君は、119代光格天皇の御生母で現在の倉吉市湊町でご出生になった。

明治の初め、神社設立の気運がおこり、明治13年、閑院宮家より御霊代を賜り賀茂神社に合祀した。

明治45年神社設立の許可があり、倉吉町長尾崎忠平が会長となり奉賛会を結成。

祭神の没後100年目にあたる大正2年の4月14日に、大江神社を建立し御霊代を奉遷した。

戦後、崇敬者の数も減り、衰微したが、平成10年、前倉吉市長牧田実夫を会長に「大江磐代君を讃える会」を設立。平成11年4月に本殿を再建、同12年4月に拝殿を再建した。

平成24年4月創建100年祭（没後200年祭）を斎行した。