绍圣元年（1094），苏东坡被贬到数千里之外的岭南英州（今广东英德县），他让长子苏迈、次子苏迨带家人暂回常州宜兴田庄，自己带了爱妾朝云和幼子苏过从定州出发，经水路南行，走了一个多月路过湖口时（今江西湖口县），苏东坡在士人李正臣家里看到一块奇石，天生九峰，玲珑婉转，酷似唐代诗仙李白命名的九华山。
仇池石
又在贬谪途中，很不方便，只有等到以后有了机会再买。李正臣见赏石家苏东坡喜欢这块石头，便请他命名赋诗。东坡也不推辞，马上命名为“壶中九华”；又与此名题了一首诗送给李正臣：
香港苏富比“明至清 英石供”
苏东坡带着遗憾的心情继续南行，还没有到达英州，途中又接诏命，把他贬到更远的惠州（今广东惠阳）。经过长途跋涉，到达惠州之后，他的职务虽然一降再降，还是为百姓做了许多好事，同时也结交了许多新朋友。他想到自己已老，再也不能回京了，便在一个风景优美的湖边建了一座房舍，取名“白鹤居”，室内也取了几个比较文雅的厅名：“思无邪斋”、“德有邻堂”。本来修建这座新屋是为了与朝云共度晚年。谁知新屋刚刚落成，朝云就病逝了，老来丧妻使东坡非常悲痛。丧妻的悲痛还没消散，他建新房的消息就传到了京城，宰相章惇又忌妒又痛恨，决不让他过安宁日子，一道诏命又把他贬为琼州别驾儋州（今海南儋县）安置。这时孤苦零的苏东坡带着幼子苏过经雷州半岛渡过大海来到儋州，连房子都不安排，只好住在槟榔树下。海南岛的气候虽然暖和，但雨水很多，父子俩常常，蹲在雨伞下过夜。好在他的名声很大，许多黎族青年慕名前来拜师，跟他学习汉族的先进文化。而且在学生黎子云、黎之威等协助下很快就在槟榔丛中盖成了一座大茅房。他欣喜地为茅房题写了一块匾额：“槟榔庵”。接着他又向官府要求拨给一块荒地，像在黄州那样躬耕田亩自食其力了。
苏东坡在儋州苦度了三年，24岁的哲宗皇帝驾崩，其弟徽宗赵佶继位。因赵佶年幼，由神宗皇后向太后听政。向太后是个明白人，知道谁好谁坏，很快就下诏调苏东坡去廉州（今广西合浦）任职。接着又封他为朝奉郎，可以在全国任何一个地方居住。这时他已65岁了，决定回常州的宜兴田庄定居。他乘船再过湖口时，又想起壶中九华石，匆匆赶到李正臣家里，要把它带回田庄。可是这块石头早已被别人买走了。苏东坡感叹不已，又用前韵写了一首自解诗《忆壶中九华》：
苏东坡离开湖口，回到常州庄园，过了一个多月，由于途中劳累，身体老弱，于建中靖国元年（1101年）七月二十八日与世长辞。第二年，他的门生黄庭坚路过湖口时，在李正臣家里看到东坡两首《壶中九华》诗，陡生怀念之情，步原韵写了一首《忆东坡》，表达了他俩的深厚情谊：
①云峰、翠扫空，均指壶中九华石。
②这两句均写九华石，上句写石形“玲珑宛转，下句说石“若窗棂然”。
③碧玲珑，指九华石。
