1866年，广东巡抚郭嵩焘的解职与左宗棠大有关系。1864年7月，天京失陷，太平军余部退往赣、闽、粤边境。清政府命左宗棠带兵前往镇压，太平军在福建难以立足，被迫转入广东。左宗棠奏请调江西鲍超部霆军人粤会剿，但郭嵩焘担心军纪很坏的霆军扰粤，遂与两广总督瑞麟会奏，声称太平军有进攻赣湘动向，让霆军严防本境，不必入粤。清政府采纳了他们的意见，于是，左、郭之间的矛盾迅速激化。
粤军怯于战斗，无法承担剿灭粤境太平军的任务，而瑞麟又喜欢吹虚，不断向清政府谎报战功，遭来清政府的严厉申斥，郭嵩焘也跟着受过。1865年9月底，左宗棠部将康国器、关镇邦等在追剿太平军时，遭遇太平军的埋伏，死伤惨重。左宗棠认为是粤军会剿不利，于是就毫不客气地“从严参办”瑞麟和郭嵩焘。左宗棠第一次纠参郭嵩焘是在1865年10月26日，谓粤军会剿不利，并向清政府暗示瑞麟、郭嵩焘不是治军之才。11月6日，左宗棠又第二次纠参郭嵩焘，称广东督抚谎报军情，致使太平军汪海洋部迟迟不能剿灭。1866年1月15日，左宗棠第三次弹劾郭嵩焘，直接指出他办理厘捐不善，致使军饷不足，要求以部将蒋益澧代郭抚粤。清廷为之所动。3月6日，左宗棠在镇压了粤境的太平军后第四次奏劾郭嵩焘，称广东督抚“明于小计，暗于大谋”，并非合适人选。这四次纠缠，虽然两广总督瑞麟也在被参之列，但是，瑞麟是满人，后台硬，左宗棠搬不动他。而郭嵩焘却终于被他纠缠去职。
郭嵩焘初升广东巡抚时，雄心勃勃，以为施展平生抱负的机会终于到了。但两年多的巡抚生涯却使他焦头烂额，苦不堪言。他几乎处处碰壁，既为地方士绅所反对，又与同僚、上司闹不合，甚至有生死之交的左宗棠在关键时刻为了争镇压太平军的全功也把他置于难堪之地。晚清官场流行着“多叩头，少说话”的六字诀，而郭嵩焘偏偏要自恃才高，反其道而行之。李鸿章、曾国藩在他接任之初多次建议他治粤不可过急，而他却求功心切，恨不得一下子把个乱糟糟的广东治理得井井有条，又是纠缠下属，又是劝捐，结果弄得上下都不满意，他的日子也就不好过了。加上闽浙总督左宗棠的一再纠缠，逼使郭嵩焘最后只好主动请退。1866年5月14日，郭嵩焘正式接到解职上谕。6月16日正式交卸。他没有回京述职，而是告假回乡，甩手不干了。
1867年5月，郭嵩焘与辞官回乡的好友刘蓉泛舟洞庭湖，登君山，兴致很高，宠辱皆忘。但郭嵩焘在家闲居的日子并不总是这样潇洒，他每天除了会客、读书、著书外，还种菜、植茶、养鱼。有时也找几个和尚谈诗论佛。这样过了几年，1870年，郭嵩焘又移居长沙，主讲城南书院。湖南地处内陆，守旧风气极盛，而郭嵩焘又以洋务知名，平时喜谈洋务，因而学生们有时就故意与他作对。他执教不久，书院就传出一副对联：“万物皆备孟夫子，一窍不通郭先生。”郭嵩焘非常生气，下令停课，决心查个水落石出，但追查的结果，却是查无实据，找不出写对联的人，只得不了了之。
1870年，发生了震惊中外的天津教案，清政府命曾国藩负责处理这一棘手的案件。郭嵩焘闻讯，致书曾国藩，劝他回籍养病，免遭非议。但曾国藩却无法摆脱压到肩上的担子，只得硬着头皮往前走，处理结果，天津民众成了这一教案的牺牲品。曾国藩则被朝野骂为卖国贼，在日记中，曾国藩也深感“外惭清议，内疚神明”。
1873年，郭嵩焘所撰《礼记质疑》成书。此书始作于1852年，历20年而成，用功很深，因此，颇受当时文人士大夫的推崇。
1874年，日本借口台湾生番杀害琉球渔民兴师犯台，同治年间中外和好的局面被打破。清政府顿感人才缺乏，洋务棘手，于是，又重新起用在镇压了太平军以后被罢职的一大批文臣武将。7月21日，清政府命杨岳斌、曾国荃、郭嵩焘及丁日昌、鲍超、蒋益澧等进京商讨国事。这样，郭嵩焘又结束了长达8年的闲居生活，重新卷入清廷政治斗争的漩涡之中。