1937年秋，日寇入侵山西，逼近祁县，57岁的渠仁甫只得率领全家外出逃难，至于逃到哪里，却没有既定目标。只能随时局的发展且走且看。10月24日晚，渠仁甫率全家及长裕川的四位同仁，由祁县乘火车出发南下。火车到介休后，渠仁甫的小儿子哭闹不休，无奈之下只好兵分两路，渠仁甫等由长子渠川祜护送返回祁县，儿媳携长孙等继续南下，在运城等候。渠川祜与妻儿汇合后，由运城到平陆县茅津渡，坐木船过黄河，然后再坐火车到西安。
阴历10月初，就在日寇进祁县城的前一天，渠仁甫再次率领剩余的5位家人和妻兄刘绩甫、侄刘显东两人南下。此时，火车已不通车，只得雇驴车走。行数日后，才到平陆县茅津渡，过黄河，抵西安，与先期到达的长子、长媳一行会合。在西安停留近20来天后，感到也不是久留之地，渠仁甫便决定继续南下。阴历11月初，一行十七八人又经郑州到汉口。在汉口休息数日，准备坐船入川。因船票有限，于是分批坐船经宜昌、万县，再到重庆，最后到达成都。在万县时不满1岁的长孙渠荣在船上患严重腹泻，几乎夭折，为此他们不得不在万县多停留一些日子。全家在成都会合时已是腊月，3个多月的逃难生活，使他们吃尽了苦头。到成都后，渠仁甫一家与“长裕川”成都分号合住一处院子。为了安全起见，1939年春天，渠仁甫又率全家到四川灌县避乱。然而，灌县也不太平，日机也时常前去轰炸。在1942年冬天，渠仁甫一家才又返到成都。
在灌县期间，渠仁甫一家迭遭不幸，1940年7月17日，渠仁甫年仅5岁的小儿子因为感冒发烧引起抽风而夭折。而后，夫人乔氏因极度悲伤，导致神经错乱，于1940年6月9日病故。受此打击，渠仁甫的母亲段老夫人也于1940年7月23日病故。在背井离乡、流离失所的情况下，渠仁甫三位亲人相继病故，故而渠仁甫的心中悲痛异常，好似“百忧煎”。此前，儿子尚在昆明西南联大上学，渠仁甫的身边只有12岁的女儿渠川馥，女儿便成为他当时唯一的安慰和寄托。1941年正月，渠仁甫看着女儿刚照的相片，心中无限感慨，在照片背面作诗一首，聊以自慰，诗文曰：“性情灵，笑貌憨，活泼天真最烂漫。晨起则诵诗，日午兼学算，读书造句识非暗。年来我心百忧煎，听汝一言愁怀散。无聊晚景莫可娱，有汝足慰痴老汉。”落款是“辛巳正月廿一日，忍翁题”。
祁县的情况更加糟糕，1937年11月9日，日军铁蹄踏入祁县，渠家大院成为日军司令部。日军进驻后，对贵重物品大肆掠夺，渠仁甫收藏的名贵书画被抢劫一空。后来祁县“长裕川”、“书业诚”的同仁，趁日本兵外出扫荡之际，抢运出一部分书籍、物品，存放在“书业诚”书店库房内。在日寇占领祁县的8年中，渠家大院被洗劫一空，损失无法统计。
祁县“长裕川”茶庄总号也遭到同样的厄运。日军发现这个院子墙高院深，大门一关，俨然一座城堡，十分安全，便将其占领。不久，日军又在南院东厢房修澡塘。洗澡水就地排放，时间一长，致使南楼地基下陷，东边第二间顶柱的基础下陷将近一尺，连带着把二楼前檐围栏变成了真的“危栏”，但日本兵管住不管修，掌柜、伙友们光着急，也没办法。
1945年春夏间，日军神谷特务队进驻“长裕川”。为躲避美国飞机轰炸，便在“长裕川”北院挖防空洞。不料一下子挖出了3个大瓮和一口大鱼缸，打开石板盖一看，里面全是白花花的大元宝，总计白银40万两，悉数被日军装箱运往日本。半年多后，消息才辗转传到成都，渠仁甫十分悲愤，仰天长叹。稍后，各地商号也陆续传来消息，均有不同损失，仅太原“诚记茶号”一处就损失数千元。
从1937年10月逃离祁县至1942年底，这5年使渠仁甫的人生发生了骤变，从商业兴旺、办学斐然、理想实现的黄金时期，骤然间成了家乡沦陷、颠沛流离、艰辛万苦、担惊受怕、亲人去世、理想破灭、事业摧残、财产损失、返乡无望，但自己又无力扭转时局，十分无奈，心情极度悲愤惆怅。这5年是他一生中最不幸、最不安定、受打击最大、最黑暗的时期。
日寇侵略，国土沦陷，给他造成如此沉重的打击，一般人是难以承受的，甚至会被摧垮。但他从打击、悲愤、惆怅、无奈中，逐渐学会了一个“忍”字，并喜爱上了“忍夫”这个别号，时刻以“忍夫”提醒自己、告诫自己、鼓励自己，心被刀扎，心在流血，也能不动声色地忍下来，顽强地活下去。从此，他在文抄、书法等写作时，多用“忍夫”这个别名落款。
1941年12月7日，日寇偷袭珍珠港，陷入太平洋战争的泥潭中，中国西南大后方战事稍有缓和。1942年，渠仁甫返回成都后，生活稍微安定一些。在成都他住在狮子巷75号，这是一座带西式风味的三进式院子，成都“长裕川”商号在一进门的南院，中院除客厅外，为子、媳、女儿、孙子以及逃难到成都的亲戚等居住，后院较小又阴暗，不住人，作库房用。中院西侧还有一偏院，他则住在偏院的正房，妻兄刘绩甫住他对面的南房。西偏院环境幽静，正房西侧墙根底有一排小竹林，院中间西侧有个用石板砌的大鱼缸，缸中间还有假山。院中间呈正方形，种有四颗南方观赏树木，北边一颗是玉兰树、一颗是腊梅树，南边两颗都是桂花树，其余空间则长满了秋海棠。每年春天，大朵的玉兰花盛开；秋天，桂花香满院；冬季，黄色的腊梅绽开，香气袭人。
在成都期间，因为言语不通、习惯不同，渠仁甫基本上不与当地人来往。当时在成都的山西人大都是商人或官僚，渠仁甫与他们又气味不投，故很少出大门，甚至连他住的小院也不出，每日只是看古书，写毛笔字，或教女儿和孙子读书，心情十分沉闷。
他住的房间很简单，门的两旁各有一扇玻璃窗，东窗下有一书桌，是他看书写字和教孙子念书的地方。房间后墙中间靠墙置一方桌，是两个孙子念书、写字的地方。靠西墙有一张带蚊帐的木床，是渠仁甫睡觉的地方。
从1942年到1951年，这9年间他大约百分之七十左右的时间用来读古书和写毛笔字，百分之二十左右的时间用来教女儿或孙子念书，百分之十左右的时间用来与各地商号的掌柜谈事务，或接待其他客人。
他从小就喜读书，一生最大的乐趣是“学而时习之”，逃难到四川后他的心情极度惆怅，唯一的办法是从看书中寻求精神的寄托和心灵的慰藉。他每天都把自己关在屋子里或看古书，或写毛笔字，逢年过节也不例外。他写字特别认真，写好后自己用针线装订成册。虽几经战乱、迁徙，我们仍可看到他抄录欧阳永叔、苏子瞻、柳子厚、王介夫、苏明允等人文章的《古文便习》6册，抄录《荀子》、《札记》、《读庄管见》、《读诗经新义》、《历代石金考》、《浪口村随笔》等文章的《四不若斋杂录》7册，抄录樊山、书衡、古凤、陈新佐、三石、梅泉、孙雄等人诗篇的《文艺丛钞》2册，以及《四不若斋杂钞》1册，《清晖说诗》1册，《阳明先生语录节抄》1册，共约四五十万字。这些是他在成都生活的最好写照。
在逃难四川的14年中，渠仁甫无日不思返乡。1945年8月，日本宣布无条件投降的消息传来，渠仁甫欣喜若狂，立即赋诗一首，并令家人买来鞭炮，尽情燃放。然而，由于局势不稳，交通不便，问到故乡之事一时难以成行，后又风闻阎锡山在山西搞兵农合一、平民经济、三自传训等欺诈民众的经济、政治活动，渠仁甫不敢贸然行动，只得等待观察。然而，等来的却是蒋介石发动内战。当时，战火连天，交通中断，渠仁甫仰天长叹，返乡又成无望，只得又在读书写字中煎熬度日。
1946年，蒋介石一意孤行，先后杀害了反对内战的爱国民主人士李公朴、闻一多先生，引起了全国人民的抗议和声讨。当时四川大学的爱国师生为了抗议国民党反动派的血腥罪行，举行了声势浩大的示威游行。渠川祜在太原平民中学的同学、山西襄汾人曹锡光，也在成都，时任四川大学农业系教授，平时来往频繁。曹锡光与四川大学的师生们为悼念李公朴、闻一多先生，就拟了一副挽联，特来请渠仁甫书写。渠仁甫虽终日写字，修身养性，却从不为别人书写，但这次例外。
1949年，解放战争节节胜利，汉口解放，汉口“长裕川”却与成都失去联系，他唯一依靠的经济来源断绝。无奈之下，渠仁甫只得挂牌行医，以维持全家生计。后半年，成都的中学校也停课，儿子本在成都西北中学任教，此时也赋闲在家。两个孙子则在门口摆起了小摊，卖儿童小食品和玩具。纵观渠仁甫一生，从未如此拮据。同年12月，成都解放。1950年，全国邮电、信件恢复畅通，渠仁甫一方面与太原“书业诚”联系，询问解放后的经营情况；一方面令子渠川祜与竞新小学同学、太原文教局局长武汝扬联系回太原后的工作问题。武汝扬得知校董回乡，表示欢迎并积极支持，还答应安排工作和解决子女的就学等问题。于是，渠仁甫便开始了返乡的准备工作。
1951年初，曹锡光赴陕西武功西北农业大学任教，渠仁甫甚为感慨，特作诗《送曹锡光赴武功》一首相赠：“孰意蚕丛地，羁栖十四年。因君将阔别，感我尚留连。去览关中胜，还嫌蜀徼偏。怱怱分袂后，宁待雁书传。蔼蔼春风路，悲歌送尔行。同为羁旅士，更话别离情。屡辱丹青贶，频闻笑语倾。他年相会处，应不在蓉城。”该诗既表达了离别之情，又流露出自己对家乡的思念。
由于四川还没有火车，回山西需坐四五天长途汽车，穿越秦岭山脉，走当年诸葛亮六出祁山之路，到陕西宝鸡后，再换乘火车。1951年5月，渠仁甫终于回到了阔别14年之久的家乡，并从此结束了流浪他乡的生活。
在四川的14年，是渠仁甫一生中最为沉闷、最难煎熬的14年。14年间，山河破碎，亲人丧亡，内外交困。然而，他终于坚持了下来，并迎来了自己的新生。