张东荪等人先被关在西苑日本宪兵队，不久被押到设在沙滩旧北京大学红楼的日本宪兵总队。他与赵紫宸关在16号牢房。在这里，日军宪兵安达弘数次审讯了他。关于当时的情景，张东荪后来回忆说：“到了第二天，我又被传到审讯室。他首先问我：你讲一讲和陈独秀组织共产党的情形。……我不禁愕然。我遂反问：何以知道我组织共产党？他乃拿一个日本文的杂志给我看。那个杂志上有一篇文章关于中国共产党的起源。幸而我看见其中所列的姓名尚有周佛海。我笑向他说：我和陈独秀确是朋友。在五四以后，在上海渔阳里确是常见面。但他后来发起共产党未邀我参加。”此后，张东荪又被审讯过两次。“一次是希望我答应与汪政府合作。我便以狡猾的态度对付之。我说：我一向是个国民党的反对者。汪精卫是国民党。决不能与之合作。他亦明知我的意思，便说道：我知道你还是承认蒋介石的。第二次却更为奇怪。是要求我向在拘留中的中国共产党员加以劝诱，使其感化，可以招供。……我遂回答：共产党不是捉、打、杀所能扑灭的。你们日本军何必来管中国的事，因为共产党是中国政治上的一个问题。他听了似还相信，即此作罢。”
1942年1月10日，日本宪兵经过侦察，将被捕同学及教职员数人，以无罪开释。2月10日，张东荪等11人被移到炮局胡同陆军监狱，接受日本军事法庭的候审。在这里，被关了四个月零10天。刚开始时，11人被关一处，1周后，便被隔离，1人1室；4月1日后，又改为2人或3人一室。“如是自冬至夏，又历4月。洪煨莲先生、邓之诚先生、刘豁轩先生首先被释，赵承信先生亦于大病之后相继出狱，陆志伟先生则因重病移养于道济医院，所余张东荪先生、蔡一锷先生、赵紫宸先生、林嘉通先生、陈其田先生、侯仁之先生共6人”。
在狱中，具有中国强烈民族意识并抱定“士可杀不可辱”信念的张东荪，为了反抗日寇的凌辱，曾自杀四次而未遂，并与日本看守撕打，不屈服日寇的淫威。对此，洪煨莲在《六君子歌》中称赞他说：“张公谩骂如狂癫，溷厕败帚执为鞭，佩剑虎贲孰敢前”。赵紫宸也作赋《虞美人·咏张东荪》曰：“论情之子真堪爱，谈笑风流在，只愁孤坐不愁关。拦住白衣胡乱诌温寒。隔墙听去浑如乐，赞美黄金粟，孰知常抱杞人忧，正似乌云重叠满天浮。”
1942年6月9日，日军组织军事法庭，对张东荪等6人进行“审判”，18日宣判。张东荪以“向学生灌注抗日思想，并选拔学生，资送他们到重庆治下，增加抗日力量”等罪名，被判一年半徒刑，缓期三年。他在写了一份保证书（声明出狱后不离开北平）后，由张东荪的夫人吴绍鸿女士暂时作保，接回家中。这样，张东荪终于经受住了日伪的威胁利诱，保持了一个中国知识分子高尚的民族气节。对此，当时人们就称赞说：“日本人的意思是要他和他们妥协，但是‘威武不能屈’是中国自古以来读书人的气节，他预备死在监狱里。日本人没法，终于在监禁了数个月以后，把他放了出来，然而他们暗暗地仍旧派特务监视着他，而他，却也仍旧暗暗和八路军取得联络，供给他们情报，做着他能做的地下工作。并不怕被被人诬为共党分子而不抗日，不争取人民的胜利。这是一个考验，在这个考验中，张先生第一次在人们面前表露了他的庄严的节操。”
张东荪被捕后，在叶笃义的帮助下，张家从王家花园搬到城里大觉胡同，借一个姓刘的房子居住。张东荪出狱后，日本人要求他必须另外找一个正式保人。当时没有人敢为他作保。伪北平市长刘玉书为了拉拢张东荪，便自告奋勇，出面作保。此时，日伪华北政府企图让他出掌北平教育，王克敏、刘玉书经常到张东荪，劝说张东荪，张东荪都以各种借口拒绝了。
在未出狱时，张东荪害怕以后日本人逼迫他出来当汉奸，便萌发了离开北平到中共领导的解放区的想法，后来因病没有成行。他后来回忆说：“当时我有一个意念，就是出狱后立即逃上西山，因为王定南已将路径全早告诉我了。孰知出狱时正大病，一病就有一个月之久。以后却不见日本人来十分强迫去做事，所以亦就无须如此了。”
在张东荪被捕的同时，负责与张东荪联系的中共党员王定南也被日寇逮捕，但很快王定南便出狱。随后，日本人侦知张东荪与共产党地下党有秘密联系。这对张东荪是致命一击，因为日本人在关押张东荪的半年多时间里，虽指控张东荪秘密向西山送学生，等毕竟没有抓住真凭实据，而此时得知张东荪与中共有联系，也感吃惊。然而，比张东荪更吃惊、更害怕的是替张东荪作保的伪北平市长刘玉书。当刘听说后，做梦也想不到一惯反对马克思主义的张东荪会与中共秘密联系。为了说服日本人解除这个疑虑，刘玉书便将30年代张东荪反对马克思主义的文章和书籍收集起来，交给日本人，证明象张东荪这样激烈反对马克思主义的学者无论如何也不可能与中共联系。日本人大概也并没有抓住真实证据，看到刘玉书态度这样坚决地为张东荪作保，也就不再追究。对此，张东荪说：“只是由日本华北派遣军参谋长有未出面，邀在日本大使馆一问，我即扶病而去，到时甚为优待。由日本原田翻译官作翻译。并未问及王定南案，只是劝我参加伪政府。我当时以病为推，即此了事。”
尽管张东荪又逃过了一次厄运，但他对王定南已经失去了信任，与中共地下党的联系也一度中断。对此，叶笃义回忆说：“张东荪被捕以后，王定南也被日本逮捕了。王定南在狱里设法送出信来，间接通知我赶紧离开唐山。我以母亲病重为借口，向开滦矿务局辞职，离开唐山，搬往北平。王定南在张东荪释放之后也被释放。王定南出狱以后，仍然同张东荪和我联系。他说他在狱里并没有变节，仍然代表党。究竟是真是假，须到解放区去查询。”
在被捕入狱期间，张东荪的学生姚继鸣也被捕。张东荪很快得知他也是一位中共地下党员，便想通过姚继鸣重新建立与中共的联系。但姚表示不能代表中共与他联系，只表示可以代为牵线。通过姚继鸣的介绍，1943年6月，张东荪派叶笃义直接与十八集团军总部联系，并希望能与中共建立一个书面的协定。对此，叶笃义回忆说：“姚继鸣说他不能代表党同我们联系，但他可以介绍我到十八集团军总部去调查王定南是否仍然代表党，假如他已失去了关系，我可以向十八集团军请求调派一个人来同我们联系。由于姚继鸣的关系，我在1943年6月到了晋冀鲁豫边区十八集团军总部。临离开北平的时候，张东荪对我说，为了同党进一步靠拢，希望和党建立一个书面的协定。”这样，叶笃义与张云川便代表张东荪前去与八路军总部联系。
关于与十八集团军总部联系的情况，叶笃义后来回忆说：“到达十八集团军总部，彭德怀副司令员亲自同我接头。彭老总答应可以同张东荪签订一个书面协定，并说王定南已失去了党的关系，没有另派一个人同张东荪联系。我代表张东荪（我用的是‘叶茂荪’的名字）同彭老总签订了一个‘七七’协定棗1943年7月7日签的协定。协定中规定抗日战争期间，双方合作配合军事行动，进行瓦解伪军、伪组织；抗战胜利后，双方合作推行和平民主建国方针。”
叶笃义很快便回到北平，向张东荪作了汇报。1944年初，中共改派殷之钺（张家人亲切地叫他“小殷”）负责与张东荪联系（直到抗战胜利）。这样，张东荪与中共地下党重新建立了联系。日本投降后，张东荪介绍中共地下党员殷之钺用“殷冷”的名字参加民盟，但不久殷的身份暴露，无法再在盟内工作，被迫调往他处。
张东荪此时在大觉胡同的寓所，是一个进出比较方便的多重院落。小殷是一位很精干的上海青年。他经常与张秘密谈论政局、交换情况，与张家关系处得很好。张东荪此时的主要兴趣是撰著《思想与社会》和《理性与民主》两书。1943年底，他已经完成了《思想与社会》；1944年初开始撰写《理性与民主》，到抗战胜利时基本脱稿。据说，当《思想与社会》写完后，张东荪曾抄录了好几套，以备不测。
日本宪兵虽然假释了张东荪，但仍对他进行秘密监视。日本宪兵安达弘每个月必到张家一趟，主要是劝张东荪出山，为日本人做事；同时，察看张东荪是否逃离北平。张东荪每次都闲谈一番，敷衍过去了事。有时，当中共地下党正在张家时，碰巧日本宪兵安达弘也来，张家人赶快将地下党转移到后院，从另外一个门撤离。在非常险恶的环境中，张东荪与中共地下党保持着稳定的联系。
早在1941年3月，张澜、罗隆基等人在重庆秘密建立了中国民主政团同盟。1943年，张东荪从张云川处得到了一份中国民主政团同盟的纲领。为了与西南大后方取得联系，1944年初，张东荪派叶笃义由北平秘密到重庆，代表自己参加民盟。临行，张东荪让叶将自己所著的一份《思想与社会》（手稿）带到重庆出版，“并送一个稿给周恩来和张闻天”。1944年9月，中国民主政团同盟召开会议，将名称改为中国民主同盟，张东荪被选为中常委，负责组织和领导民盟华北总支部。
1944年底，叶笃义返回北平，向张东荪介绍了大后方的情况，并传达了民盟会议的决定。经过一段时间的筹备，1945年初，张东荪在北平成立民盟华北总支部。总支部委员共六人：张东荪、叶笃义、曾琪、林可玑（曾、林是青年党）、周鲸文、张云川，张东荪为主任委员，林可玑负责组织工作，叶笃义负责宣传事务。民盟华北总支部的成立，为抗战胜利后民盟在华北的发展打下了一定的基础。