永历帝被杀，郑成功病死。张煌言恳请郑成功之子郑经重拥被郑氏家族软禁的鲁监国朱以海为帝。但是，郑经连鲁监国平时的粮食供应都常常缺欠，更罔论拥之为帝了。
兵卫寥寥之下，张煌言处于浙江沿海穷荒僻岛，坚持抗清。清朝浙江巡抚张杰致书诱降。张煌言不为所动，复书表示，如果清朝割海边之地给明朝残余势力，双方保民息兵，明朝余部能等同朝鲜之地位，他本人可以挂帆远航而去，不再与清廷为敌。这种缓兵计，自然为张杰所识破，但他心中不得不深敬张煌言对明朝的忠贞不贰。公元一六六二年年底，郑成功死后半年，鲁监国朱以海因哮喘病发作病死于软禁之所。至此，张煌言心中的复明希望，全然破灭。痛哭之余，他对身边人讲：“孤臣之栖栖有待、徒苦部下、相依不去者，因主上（鲁监国）尚存。今事如此，复有何望！”有部众劝他率手下乘船去台湾往依郑氏，张煌言不从。“偷生延年，不如在此，以死立信！”
于是，他为了不连累旁人，在悬岙岛尽散其军，自己只带随从十余人居于山上邻近峭壁的茅屋中。不久，张煌言与众人商议，欲尽数落发为僧，前往普陀山，静待时变，再起复明。
不料，张煌言部下其中一名小校叛变，逃走至清朝浙江总督赵廷臣处告密，引来大批清军搜山。猝不及防，张煌言被清军生擒。他被押送至宁波，清朝总督赵廷臣从前到海上与张煌言谈判过，见到他非常礼敬，设宴举酒，问候到：“张老爷别来无恙。”张煌言不入席，凛然曰：“我父死不能葬，国亡不能救，死有余罪，今日之事，速死而已，何必多言！”
清朝的赵提督识趣，以重兵护大轿，把张煌言礼送至省城杭州。临别故乡时，乡亲成千上万泣别送行。船行途中，夜半时分，张煌言忽听有人低声吟唱《苏武牧羊曲》，大英雄立刻起身和歌，慷慨激昂。仔细一看，唱曲人乃看守士兵之一的史丙。张煌言知道对方“劝死”的心意，说：“你真是有心人！你放心，我作为大明兵部尚书，绝对会为国尽忠，含笑而死，不会给大明朝丢脸！”
入杭州后，清朝的浙江巡抚张杰亲自迎接，待以贵客之礼。张煌言不卑不亢，与清朝督抚官员分庭抗礼，岸然高坐，寒暄闲话。张杰等人皆知，张煌言心坚为明不可劝转，所以，相见许久，皆略谈闲语海中之事，闭口不敢提招降的问题。言谈之间，还有降清的不少从前张煌言部将来拜，均涕泣行礼。对这些人，张煌言略微颔首示意。叙谈许久，清朝巡抚张杰终于开劝：“张老爷，您如果肯降大清，富贵功名，即可立致！”张煌言脸色一变，起身斥责：“这等事岂可与我讲，我惟求速死而已！”言毕离席。清官清将，皆离席恭送，沉默久之。张杰下令，将张煌言与被俘诸人软禁于豪宅之中。
浙江地方政府报告上达北京后，对张煌言的处置，清廷内部研究一个月之久。有人建议把张煌言押送北京处斩，有人建议对他优待释放以招降南明残众，有人建议暂先把他拘押在杭州，议来议去，日久不决。最后，经清廷部议，得出如下裁决：“解北恐途中不测，拘留惧祸根不除，不如杀之。”清廷既怕张煌言押送北京途中有人劫囚车，又怕把他押在杭州给明朝遗民心中留希望，最终只能想出杀人一招。
张煌言死后，其妻早于他三天死于狱中，因此他的尸体由其宁波同乡出资收敛，葬于杭州南屏山北麓的荔枝峰下。乾隆四十一年，乾隆帝赐谥张煌言为“忠烈”。因此其墓碑上刻“皇清赐谥忠烈明兵部尚书苍水张公之墓”。一代完人张煌言长眠于此。后人评价云“煌言死而明亡。”
张煌言曾在入杭州时赋《入武林诗》：“国破家亡欲何之，西子湖头有我师。日月双悬于氏墓，乾坤半壁岳家祠。惭将赤手分三席，拟为丹心借一枝。他日素车东浙路，怒涛岂必属鸱夷。”字里行间，表露了对岳飞、于谦两位先辈崇敬与向往。张煌言死后，其陵冢与岳飞墓、于谦墓并列，被称为“西湖三杰”。（未完）