元丰二年（公元1079年）三月，苏轼奉命移知湖州（今浙江吴兴）。但苏轼至湖州才三个月，便发生了举国震惊的“乌台诗案”。苏轼对朝廷新法不利于民的措施大胆直言，而且寄讽谏于诗歌，希望对国家有所补益，这些都刺痛了主张变法的大臣们。恰好苏轼在《湖州谢表》中用了“新进”、“生事”等字眼。御史李定等人便抓住这些话，并且和他的诗歌联系起来，说苏轼在诽谤朝廷，把他逮捕并押解到了台狱，想置他于死地。朝中许多大臣出来为神宗辩护，当时正在生病的曹太后（仁宗之皇后）也劝神宗不要因为苏轼的过失而毁了人才。最后，神宗以团练副使的名义把苏轼安置到黄州。
元丰三年（公元1080年）二月，苏轼来到黄州，在城南长江边上的临皋亭定居下来。他的老友马正卿为他请得城东过去的营防废地数十亩让他开垦耕种。苏轼于是和田夫野老一起游玩于山水之间，并自号为“东坡居士”。
苏轼在黄州五年，躬耕于东坡之上。元丰七年（公元1084年），宋神宗以“苏轼被贬黜后，闭门思过，经历的岁月很长了，人才实在难得，不忍心终身让他弃置在外”为由，改苏轼为汝州（今河南临汝）团练副使。苏轼没有去汝州，他上书神宗说自己处境饥寒，他有田产在常州，希望能够回常州定居。神宗于是批准了苏轼的请求。
苏轼回常州，路过金陵（今江苏南京），在那里，苏轼去拜会了已贬官金陵的王安石。虽然此时都是天涯沦落人，但两人的政见依然存在分歧。苏轼对王安石说：“大的兵灾，大的狱讼是汉、唐灭亡的先兆。祖宗用仁厚治理天下，正是希望革除这种情况。现在对西夏连年用兵，东南又大兴狱讼，你为什么不说一句挽救这种危局的话呢？”王安石认为自己身在外，不可随便说话。苏轼不同意这种说法，无论身在何处都应为朝廷社稷着想。两人又谈到交友的原则，王安石说：“一个人必须知道做一件不义的事，杀一个无罪的人，即使能得到天下也不去做，才可以同他相交。”苏轼听了便开玩笑地说：“现在的君子，为了争着减少半年磨砺的年限，即使叫他杀人也是肯干的。”王安石笑而不言。
苏轼回到常州，正值神宗驾崩，哲宗即位。朝廷又起复苏轼为朝奉郎，知登州（今山东蓬莱），不久又召为礼部郎中。元淘年（公元1086年）苏轼又迁中书舍人。
当时朝廷是司马光当政。司马光反对王安石的新法，上任之后便尽行废除新法。当初在神宗时，差役法已产生了流弊，偏户充当役夫的人不习惯服役，役头又用暴虐的方法役使他们，造成编户大量破产，狭乡的百姓甚至有的终年得不到休息。王安石做宰相后，改差役法为免役法，使编户按等级的高低出钱雇用役夫，而执法的人员常常超过标准索取，成为人民的祸害。司马光做了宰相，只知道免役法给人民带来的灾害，而忽略它有利的一面，于是决定恢复差役法，并派遣官员去筹备，苏轼也被派参与这项工作。苏轼虽然反对王安石的新法，但对司马光的做法也不赞同，他对司马光说：“差役法、免役法，各有利弊。免役法的流弊，在于聚敛百姓的钱财，以至十室九空，上面聚敛了很多钱财，下面却给老百姓带来了灾难。而差役法的流弊，在于人民常在官府服役，不得专力农耕，而贪暴的官吏和奸猾的差役得以借此做坏事。这两种役给人民带来灾难的轻重，大概是相等的。”司马光听了心里不舒畅，他还是想听听苏轼的高见。苏轼认为一切政策法令，前后应该互相衔接，这样事情就容易办成，做一件事情，一点一点地逐步进行，老百姓也不会受到惊扰。苏轼又以历史上兵制的变革来作为例证：夏商周三代时兵农合一，到秦王朝时才开始一分为二，到唐朝中叶，又把府兵制改成了募兵制，士兵一生都在军队里。自那时以后，民不知道兵，兵不知晓农，农民拿出粮食和布帛来养兵，士兵拿出性命来保卫农，天下百姓都感到方便。他认为今天的免役法，其实和上面所说的差不多。现在骤然取消免役法实行差役法，就正像要取消常备兵而恢复民兵，这是不容易的啊！司马光不以为然。后来，苏轼又把自己的这些看法在政事堂上陈说，司马光很生气，想打断他的话，苏轼一点也不在意，反而对司马光说：“从前韩琦指责陕西义勇，您为谏官，争论得很厉害，韩公不高兴，您也不顾。我从前听您详细地讲过这个故事，难道今天您做了宰相，就不允许我把话讲完了吗？”司马光听了，只好苦笑，但从此嫉恨于苏轼。
苏轼多次在朝议中肆无忌惮地反对司马光的政策，他自己也担心在朝廷无法立足。于是在元趟哪辏ü元1089年），苏轼要求外拜龙图阁学士，知杭州。
苏轼再次回到杭州，有“江山故国，所至如归”之感。他自熙宁十年（公元1077年）离开杭州起，至此已有十二个年头了。刚到杭州，便恰好碰上大旱，饥荒和瘟疫并作。苏轼向朝廷提出请求，免除本路上贡米三分之一，又得到了朝廷赐予的度僧牒，把它换了粮食以赈济灾民。第二年春，苏轼又减低价格出售常平仓的粮食，还煮了很多粥和药剂，派人带着医生分别到各个街坊为灾民治病，被救活的人很多。这次大灾，由于苏轼救灾得力，没有引起严重后果。
杭州的灾害，多因水利不修、河道淤塞所致。苏轼于是下决心兴修水利。苏轼看到茅山有条河专门承受浙江的潮水，而盐桥的一条河专门容纳西湖的湖水，于是就开通了这两条河道以通漕运。又建造了堰闸，作为蓄积和疏泄湖水的闸门，使浙江的潮水不再进入杭州城内，河道也不淤积，而且舟楫常行。当时西湖因长年没有疏浚，湖底多淤，野草丛生，苏轼又提出了以西湖淤泥筑长堤的浚湖计划。在西湖中修筑了一条南北长达三十里的堤岸。又在堤上种植芙蓉、杨柳，在湖中种菱。每到夏季，堤上绿柳成阴，湖中荷叶葱翠，荷花点点，如一幅美丽的图画，杭州人称此堤为“苏公堤”。
此后，苏轼又致力于解决杭州百姓的用水问题。当年唐朝宰相李泌引西湖水，凿井六口，从此，杭州百姓解决了用水问题。但自唐中期后，西湖淤塞，六井也便废堙了。苏轼第一次知杭州便会同太守陈述古，亲自负锸执畚，组织百姓整治六井。这次，他又采用了老百姓的建议，以瓦筒引水，筒外盛以石槽的建议，用瓦筒把六井水引至千家万户，从此杭州城内再也不用为水而发慌。
苏轼在杭州曾计划在浙江上开凿漕河，以避开浮山险隘；又建议整治三吴水利，以加速松江水势的畅通，但这些建议都因朝廷没被采纳而作罢。
元塘年（公元1091年），苏轼被召回朝廷，但不久又因遭谗而请求外放。先后出知颖州（今安徽阜阳）、扬州。苏轼每在任上，都积极为百姓做好事。在颖州时，扫平盗贼；到扬州，又力除漕运之弊。
一年之后，苏轼被授命为兵部尚书兼侍读，第二年便带着端明殿、翰林侍读两学士的头衔出知定州（今河北定县）。定州的军事、政治已经弛废败坏不堪。士兵骄横怠惰不受约束，将官贪污成风。苏轼走马上任，便着手整治军纪，将那些贪污的人发配到边远地区，修补营房，又禁止军中饮酒赌博，军中纪律开始明显好转。苏轼又加强军备，进行军事训练。第二年春天大阅兵，军队纪律井然，士兵英姿勃发，定州人说：“自从韩琦走了以后，就再也没有看到过这样的阅兵了。”
但不久苏轼的霉运接踵而来。绍圣元年（公元1094年），因御史弹劾其在掌管内外时期内所写诗词是讽刺先朝，苏轼被贬英州（今广东英德），不久又降了一级，人还没有到达英州，又被贬为宁远军节度副使，在惠州（今广东惠阳）安置。苏轼“不以物喜，不以己悲”，虽然被贬岭南，仍然关注国计民生。在惠州三年，苏轼为当地百姓修桥筑路，又兴建惠州军营三百间，消除军队扰民的情况。当地老百姓视他为父母。
但当朝宰相章度匀衔对苏轼打击不力。绍圣四年（公元1097年），苏轼再贬琼州（今海南海口）别驾，住在昌化（今海南儋县）。昌化远处孤岛，连药品和糕饼都没有，更谈不上歌管楼台以寄兴，骚人墨客之交游。只有置陶渊明、柳宗元的书在左右，日夕常读。他自己在那里买了土地建造住室，以著书为乐。
元符三年（公元1100年），宋徽宗即位，苏轼才遇赦北归，最后决计定居常州。建中靖国元年（公元1101年），苏轼病逝于常州，享年六十六岁。