勧請年月は不詳である。旧荒神谷村の氏神でもと荒神と称して集落東方の荒神谷に奉斎されていたが、山の崩壊によって現社地に遷されたと伝わる。

近世まで牛頭天王と称されたが、 明治初年、境内末社稲荷神（保食神）を合祀し、字名によって岩渕神社と改称した。

「享保一九年（1734）奉建立牛頭天王一宇成就」の棟札が現存。