山口県
牛も鬼も陸にいそうなもんですが、和歌山あたりには牛鬼の住んでいた牛鬼渕や牛鬼滝があり、水辺に牛鬼は好んで現れるようです。
昔、天文年中に牛鬼が島に現れて害をなし、このため島民は離散した。その時、伊予の人である藤内図書がこの島に漂着して理由を聞き、この島に住む城喜兵衛の弓術者と謀って、ついに怪物を射殺し、民家３軒を復活させた。それより追々に村が繁盛するに至ったという。
鬼，牛鬼 | オニ，ウシオニ | 怪異・妖怪伝承データベース
どうも藤内図書の墓は牛島にあるようです。後日作られたものでしょうが、藤内図書の頌徳碑もあるようです。
それ以外の痕跡と言えば、牛鬼の根城とされるところが島内にあるらしいのですが、どであるかまでは分かりませんでした。
https://www.pref.yamaguchi.lg.jp/cms/a11500/island/ushima.html
ただ、この話では怪物とされている牛鬼ですが、その姿と言えば疑問があります。
この地域を荒らしていた海賊が牛島を根城にしたので、牛島の鬼（＝牛鬼）と言われたという話ではないかと思えます。
牛島の名前の由来として、先に挙げた山口県のHPでは、「平安時代に垣島牛牧(かきしまのうしのまき)として牛が放牧されていた」ことが記載されています。
牛鬼の話は天文（1532年から1555年）年間なので室町時代。島の名前のほうが先に来ています。
牛島だから牛鬼が好んで住み着いたなんて話があるでしょうか。牛島に住んだから牛鬼と呼ばれた方が自然でないでしょうか。
今回の場所はこちら山口県の怪異をまとめたのはこちら
怪異・妖怪地図 - 山口県