1875年春，郭嵩焘来到北京。因有李鸿章的一再推荐，他满以为能得到相当于巡抚一职的官衔。但是，3月16日御诏传来时，他却只得了个福建按察使的官职。这表明清政府对他的信任和支持以及对他在广东巡抚任内的政绩评价都不很高，从而使郭嵩焘刚刚发热的心又凉了下来，是去是留，犹豫不定。
正当此时，清廷内部爆发了一场空前的关于兴办洋务的大争论，郭嵩焘也被卷入其中。
事情的起因是：1865年阿古柏入侵南疆，1871年沙俄又以新疆动乱为由，出兵侵占伊犁，这就造成了西北边疆的严重危机。而在西北边疆危机还没有转机时，日本又趁火打劫，入侵台湾，于是又引起了海疆危机。这样，在清廷内部出现了一场海防与塞防的争论。一派以直隶总督李鸿章为主，主张弃新疆，挪塞防经费加强海军；一派以陕甘总督左宗棠为首，主张海防与塞防并重，要求收复新疆。最后，左宗棠一派的意见占了上风。在这场争论中，郭嵩焘主张兼顾水陆之防，海防与塞防并重。在新疆问题上，他认为应由左宗棠负全责，或进或止，酌情办理。
台湾问题终以清政府的妥协退让、订立《北京专条》做结。1874年11月5日。主管对外事务的总理衙门针对台湾事件的处理上了一个筹议海防的奏折。奏折承认台湾事件虽然日本明显理屈，但之所以以妥协退让作结，是因为清政府的海防空虚，别无选择。接着，奏折指出了第二次鸦片战争以来，清政府虽有自强之心、自强之言、而无自强之实的原因在于“同心少，异议多”。于是又提出了练兵、简器、造船、筹饷、用人、持久六条措施，做为自强求富的总方针。清政府当天即把这个方案发寄给李鸿章、沈葆桢等15名沿海沿江的督抚大员，要他们限期回奏。11月19日，原江苏巡抚丁日昌也奏陈海洋水师章程六条，建议清政府建立一支近代化的海军。这个条陈比总理衙门的六条更具体、更激进，清政府也寄发给各督抚大员讨论。于是，继同文馆的争论后，在清政府内部又掀起了第二次大规模的关于兴办洋务的大讨论。
各地督抚的复奏很快送到北京。关于练兵、简器、造船等项，各派没有原则分歧，但对于筹饷、用人两项，意见则很不一致。1875年3月6日，总理衙门奉旨，派亲郡王会同大学士、六部、九卿讨论各地大员奏折中提出的问题。这些守旧的京官们总体上仍持反对态度，但态度比较谨慎，以一种不痛不痒的言词把洋务派提出的方案予以否决。正当这场讨论进入高潮之际，郭嵩焘以福建按察使的身份给总理衙门上了一个条陈，从这一条陈可以看出郭嵩焘对洋务的认识与思考已经远远走在洋务派的前面。郭嵩焘已经认识到，西洋立国有本有末，其本在朝廷政教，其末在商贾，中国要求富强，必须注意西方的国政、军政，从根本上了解西方的长处。他支持造船、制器、设厂，但更强调知己知彼，从长远利益着眼，逐渐达到富强。他提出的具体的方案是：1、急通官商之情；2、通筹公私之利；3、兼顾水陆之防；4、了解本末之序。郭嵩焘力求从本源上探寻中西政治之差异，从总体上把握兴办洋务的大局，这是他比别人先进之处。1875年5月30日，总理衙门对这场争论进行了总结，基本上肯定了洋务派的意见，但也对顽固派作了妥协让步。
1875年2月，还发生了一件轰动一时的“马嘉理案”，中英为此大开交涉。交涉结果之一是清政府同意派郭嵩涛为出使英国钦差大臣，赴英道歉。中英交涉时，郭嵩焘已离京赴任，9月8日，郭嵩焘得到正式消息时，还是心潮激动，因为清政府在处理这项棘手的中外交涉时，没有忘记他。11月末他匆匆赶到北京。12月1日，清政府任命郭嵩焘署理兵部侍郎，在总理衙门行走。从按察使升到兵部侍郎，郭嵩焘心理非常激奋，因而，很快就向清政府奏陈自己对此案的处理意见，在这份奏折中，郭嵩焘提出，各国之间的往来应以礼相接，西方国家可资取法者很多，而士大夫不明时势，一意诋毁，以致屡生事端，马嘉理案就是例证，因此，他主张将岑毓英交部严议。郭嵩焘的这一意见与当时绝大多数人的言论针锋相对，因而遭到守旧士大夫的猛烈攻击，以致他奉派出使也成了士大夫嘲笑、讥评的材料。
郭嵩焘出使英国的消息传出，舆论大哗。劝辞者有之，嘲笑者有之，惋惜者也有之。北京城里，闹得沸沸扬扬，当时流行的一副对联最能代表士大夫的心态，对联是这样的：“出乎其类，拔乎其萃，不容于尧舜之世；未能事人，焉能事鬼，何必去父母之邦。”而闹得更凶的还是他的家乡湖南。1876年10月4日，参加乡试的考生在长沙玉泉山集会，声讨郭嵩焘。他们还扬言要砸郭嵩焘的家，把郭家老小吓得战战兢兢。湖南巡抚王文韶闻讯心中大喜，不但不制止，反而夸奖考生们。恭亲王为此发函责问王文韶，王居然也置若罔闻，不了了之。
郭嵩焘受到这样大的打击，心情十分复杂，在朋友的劝说下，他就不想出使了。他一再向清廷告病假，要求回湖南养病。但西大后于1876年3月4日、9月6日两次召见郭嵩焘，对他多方慰藉，使得郭嵩焘退无可退，只能一心向前。但出使前的这一段遭遇已经预示着他的出使将是一件备尝艰辛的苦差。