江戸時代中頃、沢井に中風呂忠右衛門という人が住んでいた。
あるとき、忠右衛門を頼って修斎という医者がやってきた。 忠右衛門は修斎を二つの岩の近くで開業させてやった。 なかなか評判がよく、修斎医院は繁盛していた。 修斎にはひとりの男の子がいて、大柄な頭のいい子だった。 ゆくゆくは、この子も医者にしようと考えていたところ、十五,六歳になったとき、どういうわけか出家するといいだした。
「たのむ、そんなことはいわないで医者になって、わしのあとをついでくれ。」
修斎も懇願(コンガン)し、忠右衛門も中に入って止めてやったが、どうしてもいうことをきかず、その子は家を出てしまった。
何年かたったが、その子からは何の便りもなく、帰ってもこなかった。
失意(シツイ)のまま、修斎は亡くなり、医者の家は潰(ツブ)れてしまった。 忠右衛門も亡くなった。
さらに何年かたったある夕暮れ、忠右衛門の息子が二つの岩を通りかかったときだった。
岩の上から血に染まった衣を着た亡霊が、修斎の家のあったところをじっと眺めていた。
また、あるときは、見上げるような大きな坊さんが、二つの岩のまわりをそろり、そろりと歩いているのだった。
「こりゃ、出家したという修斎の息子が、どこかで災難にあって死んじまったにちげえねえ。 家に帰りたくて、亡霊になってきたのかもしれねえ。」
息子は、そう思って霊をねんごろに弔ってやった。
いつのころからか、この岩は忠右衛門の岩とよばれるようになったそうである。