創立年月不詳。旧社地は奈良時代に繁栄した古市遺跡にあり、古市地区の産土神である。

江戸期までは武王大明神（六王大明神）と称したが、明治元年に古市神社と改称した。

蝮に係わる口碑があり、武神としての崇敬も篤い。

大路川改修工事に伴い社地を現在地に移転、

本殿を含む全ての建物が平成8年4月に新築された。

口碑によると、この神かつて蝮蛇に咬まれ、この里の蝮蛇を悉く大呂山に追放した。以来この地に蝮蛇の生息を見ず、村人は安心して農作出来るようになったという。

また、日露戦争の際20余名が出征したが、1名の死傷者も無かったことから、軍人加護の神として地方民に崇敬された。
最古の棟札は寛政5年（1793）武王大明神社造営のもの。