1941年12月8日，天津的日军占领了英租界。何思源在英租界的家人，虽然马上搬到了意大利租界，但还是没有逃脱日军的魔掌。12月31日，巡捕来传唤何宜文（何思源的妻子）到意租界工部局去，那里有日本宪兵，意租界当局把何宜文当场交给了给日本宪兵。
日本宪兵称早已知道何思源的家人藏在英租界，并出示截获的何宜文与何思源的来往信件，对何宜文说：“皇军要同何思源合作，请你去山东走一趟，劝劝他。”
接着，日本宪兵不顾何宜文的抗议，把她押回家中，强令立刻收拾行李，由驻鲁北沾化的日本宪兵小队长小林爱男把何宜文及子女共五人押上火车，坐的是三等慢车，当晚到沧县，次日改乘汽车到惠民，住在一个日本人家中，有日本宪兵监视，伪军便衣看守。
日本人给何宜文母子照了一张与小林爱男的合影。后来何宜文才知道，日军把这张照片放大，连同劝降信一起，派邮差送给时任国民党鲁北行署主任的何思源，何思源没有拆看信的内容，就集合部队，当众把信撕个粉碎，并明确表态，坚决抗战到底，决不投降！只留下这张照片作为日军的罪证。
那时日军已宣布：以何宜文母子5人为人质；以南京的伪部长或山东伪省长职位（可任选其一）为诱饵，逼迫何思源与他们“合作”。否则，就要进行“扫荡”，并将把何宜文母子放在日军队伍前面，何思源如抵抗，就会先打死自己的家属，日军之残暴可见一斑。
负责看管何宜文母子的伪军小头目姓丁，此人暗中非常照顾，他对日本宪兵说，押在这里不方便，就另找了一所民房给何宜文母子居住，这里仍有伪军看守，日本人却不常在跟前。每餐由当地饭馆送饭，这个伪军丁头目还给何宜文母子买来罐头，说是何思源托他买的。
原来鲁北行署对伪军工作做得相当深入，惠民当地的伪军，包括伪军司令在内，许多人都与游击队建立了关系，姓丁的小头目也是其中之一。因此，对日军的活动，何思源了如指掌。不久，何思源通过伪军关系，派来老勤务员张宪五扮成伪军士兵来照顾何宜文母子的生活，并带来何思源写在小纸条上的法文密信，叫妻子何宜文（原籍法国人）不要怕，日本人决不敢杀害你和孩子。从此几乎每天都有人秘密来往，传递信息。
在何思源的鼓励下，何宜文更加坚强，小林爱男几次要何宜文给何思源写信劝降，都被拒绝；何思源的一个旧朋友，当时山东的大汉奸朱经古派人来慰问和劝告，何宜文也未理睬。
有一次，何宜文当面斥责小林爱男：“你们打不了何思源，拿妇女小孩出气，真卑鄙！”小林爱男恼了，拔出手枪比划说：“皇军的宽大，要不，你们死了死了的有！”
过了几天，姓丁的伪军头目的和几个日伪兵带着何宜文坐一辆大骡车走了，说是去找何思源，4个孩子交给勤务员张宪五照看。3天后，何宜文回来了，说没有找到何思源。但后来，何宜文偷偷告诉孩子们，说她在一天夜里，在清河镇同何思源见了面，那是姓丁的伪军头目在请日本兵上炮楼喝酒的时候，在其他伪军的帮助下，何思源进来同何宜文秘密会见的。后来，何思源谈起此事时，曾说那些日本兵是些“傻种”。
有一天，门外闹嚷嚷，大批日伪军从门前经过，许多辆炮车呼隆呼隆地过去了。看守的伪军说：“皇军去扫荡何思源啦。”何宜文很担心。过了两天，饭馆送饭的人趁伪兵不在跟前，悄悄地对何宜文说：“日本兵回来了，死了不少人，拉了一汽车死尸呢。”从此，对何宜文母子的看管放松了一些，准许何宜文上街走走。
原来这段时间里，何思源对日军进行了针锋相对的斗争。因为意大利当局是帮凶，何思源就电请重庆国民政府把在河南一带的70名意大利传教士和修女集中在一起作为“反人质”（这批意侨后来被释放，并未受到虐待），何思源宣布：日军如敢杀我家属一人，我们就杀意大利10人，以为报复。同时派人到平、津、京、沪投书各外国领事馆、中外报馆、教会、慈善团体等，揭露和谴责日军违犯国际公法，以妇孺为人质的罪行；声明国民政府扣留意侨作为“反人质”是万不得已，后果应由日军负责。
意大利驻汪伪南京政府的代表为了意侨的安全，向日军交涉。冈村宁次不得不下令山东日军司令限期将何思源家属送回天津。但山东日军还不甘心，又发动一次大规模包围袭击，企图将何思源活捉，也未得逞。
1月下旬，小林爱男表示要送何宜文母子回天津，先把五人送到济南，住在石太岩饭店。有些不相识的人偷偷地来探望，送来点心水果，流着泪走了。
在济南，何宜文去见了日本在山东的司令土桥，土桥假惺惺地表示慰问，要求何宜文在济南发表广播讲话，承认她是自愿在日军协助下来山东寻夫，没有寻到，现在要回津。
何宜文说：“我的中国话说得不好，不会广播。如果一定要我讲，我只能照实说，不会说瞎话。”
土桥只好叫小林爱男把何宜文母子送回天津，但是依然派出宪兵监视，何宜文母子还是无法与何思源相聚。直到1944年3月，何宜文化装成外国教会的修女，带着子女秘密离开天津，辗转各地，最后到了西安。至此，何宜文母子才算是彻底脱离了威胁。