宋哲宗绍圣元年（1094），苏辙因上疏论政被贬知袁州，筠州居住。因其有政绩，故当他被罢去之时，“父老送者皆呜咽流涕，数十里不绝。”（孙汝听《苏颍滨年表》）绍圣四年，三省又以苏辙等“为臣不忠”“罚不称愆（qiān，罪）”，于是再贬为化州别驾，雷州安置；元符元年（1098），又有诏移其于循州安置。苏辙到循州，先寓居于城东之圣寿寺，后又尽囊中所有买下民居大小十间。院子的北墙下有空地可以种蔬菜，有井可以灌溉。苏辙与其第三子苏逊“荷锄其间”。当地有官宦人家黄氏，苏辙时至其家借书阅读。元符三年（1100），哲宗死，徽宗即位，大赦天下，苏辙被量移永州安置，后又授濠州团练副使，移居岳州。不久，又授大中大夫，提举凤翔府上清宫。因其有田产在颍昌府（即今河南省许昌县），于是就居住在这里。就是说他并未到凤翔府上任，只是有此官职而已。按苏辙自己的说法：“家本眉山，贫不能归，遂筑室于许（即颖昌）”（《颍滨遗老传》）。
苏辙筑室于许，自号颍滨遗老，自作《颍滨遗老传》万余言。徽宗建中靖国元年（1101），奸佞蔡京当政。降苏辙为朝议大夫，罢去其提举凤翔府上清宫之职。此后苏辙一直住在颖昌。大观二年（1009），朝廷恢复了他朝议大夫之职，又迁中大夫。政和二年（1112）九月，又由中大夫转为大中大夫，并于此时致仕。但一个月后，苏辙即辞世了。
据《苏颍滨年表》载：“颖昌当往来之衢（四通八达之处），辙杜门深居，以著书为乐，谢却宾客，绝口不说时事，意有所感，一寓于诗，人莫能窥其际。”据《宋史·本传》载：“（辙）筑室于许，号颍滨遗老，自作传万余言，不复与人相见，终日默坐，如是者几（将近）十年。”苏辙自己在《颍滨遗老传》中也说：“凡居筠、雷、循（州）七年，居许六年，杜门复理旧学，于是《诗》《春秋传》《老子解》《古史》四书皆成。尝抚卷而叹，自谓得圣贤之遗意，缮书而藏之。”由此可见，苏辙晚年，虽一直挂着不同的官衔，也移居多处，但其生活的常态则始终是“杜门深居”，“谢却宾客，绝口不说时事”而“以著书为乐”。历尽政治磨难之后，苏辙似乎是有点大彻大悟了，远离时事，远离世人，几乎是把自己封闭起来，一心读书著书，恬静淡泊，度过了他十几年的晚年生活。
步入政坛，先因反对青苗法与王安石不合；元祐秉政，力斥章、蔡，不主调停；议回河、雇役之事，又与文彦博、司马光等人异同；与西夏边事之谋，又与吕大防、刘挚不合……这样一位积极从政，直言极谏之人，为何一转而为远离时事，“不复与人相见”？原因大体有三：一是政治原因。北宋末年，党争剧烈，政局腐败，奸佞当道，自己屡遭挫折，一贬再贬，使他对政治失去信心，失去热情，转而厌恶丑恶的官场，避之唯恐不及；二是思想原因：苏辙虽一生以儒家思想为主，但晚年辞官家居，笃信佛、老，喜谈性理，大有将道家的玄学，佛家的禅学和儒家的理学合而为一的趋势。连南宋的朱熹都说：“（苏辙）合吾儒于老子，犹以为未足，又并释氏而弥缝之”（《杂学辨》）。三是性格原因。《宋史·本传》称其“性沉静简洁”“寡言鲜（少）欲”“不愿人知之”。生性沉静内敛，不愿张扬。这也是他能恬静淡泊，乐于生活在一人世界中的重要原因。