安政元年（一八五四年）岩惣の初代であります岩国屋惣兵衛は、厳島神社の管絃祭(旧暦六月十七日）の前後一ヶ月間に立つ市の賑わいに着目し、奉行所より紅葉谷（現在のもみじ谷公園）の開拓の許可を受けました。そしてもみじ川に橋をかけ、渓流に茶屋を設けて道行く人々の憩いの場としました。
それが岩惣の始まりです。
「岩惣」という名も、この岩国屋惣兵衛の名前にちなんで名付けられました。その後、四季折々に千客万来の賑わいは続き、旅館形式に致しましたのは、明治になって間もなくの頃です。