雪舟の山口における居所の一つです。1465（寛正5）年、45歳ごろにはこの地にあった雲谷庵に住んでいたと言われています。1467（応仁元）年に大内氏の遣明船で明に渡った雪舟は、帰国後の大部分を雲谷庵で過ごし、大陸で学んだ画法を存分に駆使し作画活動と弟子の育成に努めました。明治には雲谷庵は無くなりその跡も忘れられるようになっていましたが、明治17年に有志たちの手で庵が再建されました。
昭和57年に市指定史跡に指定されました。