創立年代不詳。近世まで 客大明神と称した。口伝に梅林與三左衛門と云う者が、難波高津宮より 御分霊を勧請し、黒坂の北西にある支村、横手村藤ケ森に小祠を建てて 祀ったのが起源とされる。長享2年（1488）の棟札があると「日野 郡野史」に記されているが、現存する建立棟札は寛文13年（1673）、 元禄8年（1695）、文化6年（1809）の3枚である。慶長15 年（1610）、関長門守一政が転封となり黒坂に築城した際、現社地 に奉遷し、社領高2石5斗を寄附したという。寛文七年の池田氏社領高 は1石7斗8升4合。明治元年、村内末社の蛭児神、幸神、天満天神を 合併して藤森社と改称し、同6年、藤森神社と改めた。大正9年に久住の倉知神社（もと倉知大明神倉稲魂命大日貴命大宮比売命大 山祇命金山彦命）、黒坂の金屋子神社（金山比古命）と姫宮神社（も と姫宮大明神大宮姫命）を合併した。倉知神社は戦後分離した。