张謇家虽属晚清的小康之家，但也并不十分富裕，他不可能完全依赖家中供养而闭门读书。
早在21岁那年，他即去担当江宁发审局委员孙云锦的文书，后来又到浦口淮军统领提督关长庆幕中任职。光绪八年六月至光绪十年五月间，又随庆军开赴朝鲜。在这些军幕生活中，有许多具体的军务杂事要他处理，琐碎繁忙。特别是那份受到朝野推崇的关于朝鲜时局问题的六点条陈，为关督条分缕析，更是煞费苦心。
光绪十年（1884年），庆军要撤离朝鲜回国。张謇因处理善后问题表现出的杰出才能受到上级的重视，朝鲜欲以“宾师”的待遇劝他留下，北洋大臣李鸿章，张树声和关长庆三人联合上书推荐他在朝中任事。但他觉得自己功名未就坚辞不受，决计靠自己的努力博取前途。同年7月，张树声在奥督任内，又一次延请张謇前去任事，他仍然婉言谢绝了。故有“南不拜张北不投李”之说。
1894年，张謇中了状元，本以为可以“为中国伸眉，书生吐气”，然而就在这年7月，爆发了中日甲午战争。
追溯中日甲午战争之源，起自1868年的日本明治维新。1869年，明治天皇颁布“御笔信”，叫嚣要“开拓万里波涛，宣布国威于四方”。所谓“开拓万里波涛”的第一个实际目标，就是侵略一海之隔的近邻——朝鲜和中国。
1882年6月，朝鲜发生“壬午兵变”，这样就给日本侵略者创造了机会，他们趁朝鲜发生内部动乱之机，以“干涉兵变”为借口，派出军队，肆无忌惮地长驱直入，迫使朝鲜政府签订了《江川条约》。日本除得到大宗赔款而外，还取得了在朝鲜驻兵的权利。由此，侵略的魔爪向前伸进了一步。
1894年6月，朝鲜发生东学党起义，日本趁机派遣大量的军队进驻朝鲜，对中国按约常驻朝鲜的1500名清兵形成鲸吞之势。
国势日下，战争日益逼近，可清朝统治者却一再妥协退让，避战求和，训令中国军队“静守勿动”，幻想着“我不先与开仗，彼谅亦不动手”。
然而，日本侵略者并没有因清政府的退让，避战而放松，却加紧了各种军事部署，而且不断向清军挑衅。7月25日，日本侵略者公然不宣而战，在朝鲜牙山和半岛海面同时向清国发动进攻。
当时，朝中分帝（光绪）、后（慈禧）两党，帝党主战，后党主和。翁同龢、李鸿章分别为两派的首领，光绪载湉和慈禧太后那拉氏分别为他们的后台。
李鸿章掌握着军事大权，身边是一班权奸，西太后老谋深算，操纵着实际权力，使主和派的力量占优势。
但是，面对日本甚嚣尘上的侵略气焰，有识之士无不义愤填膺。张謇预感到大清帝国将遭瓜分的危险，思想感情发生了深刻的变化：昔日的科场奋进，主要是为了改变个人受轻侮的地位，以图改换门庭，光宗耀祖；今日更感到要为国家，为民族的前途与命运着想，要时刻以“雪国耻”为念。因此，他一腔热血早已不可遏抑，常在翰林院慷慨陈词，呼吁抗战，大力宣扬“士苟以洗国耻，觉民智为心”。
当时，同是江苏籍的翁同龢正担任军机大臣，张謇激情满胸，常去走动。每当谈起时局，则“声泪交下矣”！朝廷抗战的决心迟迟难下，张謇积极为翁同龢出谋划策，劝说他直陈皇上，迅速下令开战。
翁同龢深受张謇的感染，并为他的热情而激动，因而主战意志愈坚，经张謇再三请求，也竭力劝谏皇上对日作战。光绪帝在主战派的敦劝下，采纳了翁同龢等人的建议，开始大力推行抗战路线，在此形势下，主和派迫于全国人民的压力，也不得不相应采取一些应变措施。8月1日，清政府终于下定决心，宣布对日作战。
但是，由于主和派控制着实权，在投降主义路线指导下，平壤之战和黄海海战相继失利。李鸿章为保持小集团和个人的实力，不顾国家危亡，命令他的北洋舰队躲进威海卫港内“不得出大洋浪战”，又下令陆军“可守则守，不可则退”，公然自撤藩篱，将祖国锦秀河山拱手让于外敌。
主和派的倒行逆施，激起全国各界的公愤，翰林院更是群情鼎沸，人人义愤填膺，个个咬牙切齿，痛斥权奸，抨击国贼。他们35人联合上书，共劾李鸿章，要求将之卖国元凶严惩不贷！
李鸿章权倾朝野，灸手可热，顺之者昌，逆之者亡。当时朝中流传“要做官不能得罪李鸿章，要做大官更不能得罪李鸿章。”
张謇是新科状元，功名前程全在这些“铁腕人物”的翻云覆手之间。按照官场陋习，张謇这类六品修撰，正当跻门求荣之际，巴结还怕时间不够，哪里还敢公然作对？可张謇一腔爱国热情，全然不顾个人可能遭致的官场厄运，一是与翰林院同僚联合弹劾李鸿章，二是对根据自身的体验，加上刚从朝鲜归来的袁世凯所提供的材料，独自写成了一本《呈劾大学士李鸿章》的奏疏。
张謇的这本奏疏，从光绪八年李鸿章对朝鲜问题的处理造成“我有自腐之机，敌乃有可乘之隙”入手，一桩桩，一件件，历辩其种种不可容忍的罪状，一针见血地指出：“直隶总督李鸿章，自任北洋大臣以来，凡遇外洋侵侮中国之事，无一不坚持和议。天下之人，以是集其诟病，以为李鸿章主和误国，而窃综其前后心迹观之，则二十年来坏和局者，李鸿章一个而已。”
张謇以大量的事实，犀利的笔锋，深刻揭露和鞭笞了李鸿章种种卖国行径，淋漓尽致勾勒了李鸿章的丑恶嘴脸：“试问以四朝之元老，筹三省之海防，统胜兵精卒五十营，用财数千万之多，一旦有事……无一端立于可战之地，以善可和之局，稍有人理，能无痛心！”张謇还严厉痛斥：“李鸿章非特败战，并且败和！”要求皇上削夺其北洋大臣的职务。
张謇这篇奏疏，无庸置疑是一纸讨李檄文，打中了卖国求荣者的要害，畅扬了人们对投降的愤恨。李鸿章经此弹劾，在国人面前更加臭名远扬，在政治上开始走上了下坡路。张謇却因高度的爱国热忱与蔑视权贵的无畏精神，进一步受到朝野各界的推崇。
然而，由于各种原因，中国在甲午战争中遭到惨败，软弱的清政府在日本侵略者的武力威胁下，被迫割地赔款，签订了丧权辱国的《马关条约》。
从此，各帝国主义国家的势力进一步入侵中国，中外反动势力进一步勾结起来，民族沦亡的危机更加深重。
中国向何处去？许多爱国志士无时无刻不在探索，不在思考，张謇也是寝食难寐，他在寻求着新的道路。
青年时代，张謇为改换门庭、摆脱受人轻视侮辱的地位，“以读书励行取科名守父母之命为职志”。然而，张謇在参加科举，求取功名的漫长历程中并不是“两耳不闻窗外事，一心只读圣贤书”，而是从22岁起就投身于社会，他“游南北诸郡县及朝鲜属国，接公卿大夫之贤者、士之优异者”，“察政治之良窳，民生之利病”，将自己的命运和时代的脉膊紧紧联结在一起。
张謇阅历丰富，交游广泛，较多地接受了西方哲学思想的影响。西洋科学技术的发展，更使他深受启迪，长期熏陶的封建主义世界观，渐渐融进了资本主义因素，张謇终于冲破封建士大夫的藩篱，积极投身于19世纪70年代兴起的具有进步意义的改良主义潮流。
早在大魁之前，因朝廷不能采纳他的《朝鲜善后六策》，他已深知清政府上层政治集团腐败到何种程度。他愤中国之不振”，并认为改造中国社会，“责任在士大夫”。中了状元以后，他多么想为中国伸眉为书生吐气，轰轰烈烈干一番事业。可惜，不久爆发的中日甲午战争打碎了他的梦。虽然他极力主张开战，并为翁同龢出谋划策，可是，由于实权掌握在投降派手中，主战派只能纸上谈兵，想有所为而不能。甲午惨败，世人齐呼要杀李鸿章以谢天下，张謇虽也独自上疏弹劾，可实效却是化为云烟。这使他清醒地看到：九仞宫之内，并不是他的用武之地，金榜枉题名，空负凌云志，与其做无为之官，还不如作一点点对国家和社会都有用之事。
不久，张謇接到父亲病危的消息，告假回家途经天津，乘海轮奔上海，而后至南通。谁料，当他赶到家中，老父已经溘然而逝。张謇跪跌在父亲遗体之前，仰天悲号，他以未能亲自侍奉老人归天为终生憾事。后来，直至70岁他修订《年谱》时还说：“一第之名，何补百年之恨，慰亲之望，何如侍亲之终。”
张謇回籍翌年，即1895年4月，传来清政府与日本签订《马关条约》的消息，张謇不胜愤懑。家难加上国难，使张謇绝意于仕途。
这时的北京，18省的1300多名举人刚好会试，大家探知《马关条约》，无不为之震惊，不少人当即流涕悲号。康有为受大家之重托，一夜即写成长达1万多字的《上皇帝书》，发动了有名的“公车上书”。上书中，举子们痛谏割地赔款的危害，请求皇上“下诏鼓天下之气，迁都定天下之本，练兵强天下之势，变法成天下之治”，推行“富国”、“养民”、“教民”之法，实行“议郎制”（即议会制），提出了资产阶级的改良主义政治纲领，演出了一场“戊戌变法”的历史壮剧。
《马关条约》的签订，对张謇思想的转变起了决定性的作用。“国事大坠落”，知识界特别是康、梁等变法思想的推动，使张謇由为一人一家的奋斗，彻底转向为国家、民族而“雪国耻”。
张謇认为，甲午海战失利，一非中国军械火器不如他人，二非中国将士缺乏勇武精神，而是整个国力不如日本。那时，正值洋务运动之风渐行天下，不少有新思想的官僚知识分子，仿效西方，买机器、办工厂。
对此变化，张謇想起江淮之间盛产棉花，如果办起纱厂，可抢在日本人前面一步，堵住他们在我国内地办厂的路子，以“商战”之胜利弥补“海战”之败，正是在甲午战争失败，亡国危机愈来愈深重的形势下，张謇逐步形成了实业救国、教育救国的思想。
张謇后来曾写下一篇《变法平议》，要求政府实行议会制，提出分职省定官俸，减少国库开支；通过办工厂，垦荒地，以达富国强民的愿望，要求“国民咸须出力以奉公”，连僧道也不得“不农不工不商”而惰游。他还主张废除科举，倡导国民教育，尤其强调“首在正蒙”，先要普及小学教育。
从这些实际内容看，张謇实业救国的主张与康有为、梁启超的维新变法同出一辙，都是在不触动清朝专制统治的前提下，以非暴力的改良方式改善封建统治以达富国强民之目的。一句话，都属资产阶级改良主义。二者的改良都由“除旧”与“布新”两个部分组成。相比之下，张謇的主张要求“布新”，比起康梁更为温和，希望在“不流血，不纷争”的前提下，达到理想境地。
康梁在北京变法，张謇以南通为基地搞实业，康梁在政治上与封建顽固派颉颃，张謇埋头做实事。他们在历史上所起的作用不同，但在中国近代史上都应占有一席之地。就这样，甲午战争后，张謇结束了仕途官场的拼搏和争斗，开始了他弃官回乡搞实业的新生活。