呆叟选了吉日，将要迁移，方才知会亲友，叫他各出份资与自己饯别，说：“此番移家，不比寻常迁徙，终此一生优游田野，不复再来尘市。有人在城郭之内遇见顾呆叟专者，当以‘冯妇’呼之。”众人听了，都说：“此举甚是无谓。自古道：‘小乱避城，大乱避乡。’ 就有兵戈扰攘之事，乡下的百姓也还要避进城来，何况如今烽火不惊，夜无犬吠，为什么没缘投故竟要迁徙下乡，还说这等尽头绝路的话？”呆叟道：“正为太平无事，所以要迁徙下乡。若到那大吠月明、烽烟告急的时节，要去做绿野耕夫，就不能够了。古人云：‘ 趋名者于朝，趋利者于市。’我既不趋名，又不趋利，所志不过在温饱。 温莫温于自织之衣，饱莫饱于亲种之粟。况我素性不耐烦嚣，只喜高眠静坐，若还住在城中，即使闭门谢客，僵卧绳床，当不得有剥啄之声搅人幽梦，使你不得高眠；往来之札费我应酬，使人不能静坐。希夷山人之睡隐，南郭子綦之坐忘，都亏得不在城市；若在城市，定有人来搅扰，会坐也坐不上几刻，会睡也睡不到论年，怎能够在枕上游仙，与嗒然自丧其耦也？”众人听了，都说他是迂谈阔论，个个攀辕，人人卧辙，不肯放他出城。 呆叟立定主意，不肯中止。众人又劝他道：“你既不肯住在城中，何不离城数里在半村半郭之间寻一个住处？既可避嚣，又使我辈好来亲近。若还太去远了，我们这几个都是家累重大的人，如何得来就教？”呆叟道：“入山惟恐不深，既想避世，岂肯在人耳目之前？半村半郭的，应酬倒反多似城内，这是断然使不得的。”回了众人，过不上几日，就携家入山。
自他去后，把这些乡绅大老弄得情兴索然。别个想念他还不过在口里说说，独有殷太史一位，不但发于声音，亦且形诸梦寐；不但形诸梦寐，又且见之羹墙。只因少了此人，别无诤友。难道没些过失，再没有一人规谏他？因想呆叟临别之际，坐在一间楼上，赠他许多药石之言，没有一字一句不切着自家的病痛；所以在既别之后，思其人而不得，因题一匾名其楼曰“闻过搂”。
呆叟自入山中，遂了闲云野鹤之性，陶然自适不啻登仙。过了几月，殷太史与一切旧交因少他不得，都写了恳切的书，遣人相接，要他依旧入城。他回札之中，言语甚是决烈。众人知道劝他不回，从此以后，也就不来相强。
一日，县中签派里役，竟把他的名字开做一名柜头，要他入县收粮，管下年监兑之事。差人赍票上门，要他入城去递认状。呆叟甚是惊骇，说：“里中富户甚多，为什么轮他不着？我有几亩田地，竟点了这样重差？”差人道：“官错吏错，来人不错。你该点不该点，请到县里去说，与我无干。”呆叟搬到乡间未及半载，饭稻羹鱼之乐才享动头，不想就有这般磨劫；况且临行之际曾对人发下誓言，岂有未及半年就为冯妇之理？只得与差人商议，宁可行些贿赂，央他转去回官，省得自己破戒。差人道：“闻得满城乡宦都是你至交，只消写字进去，求他发一封书札，就回脱了，何须费什么钱财！” 呆叟素具傲骨，不肯轻易干人；况有说话在先，恐为众人所笑，所以甘心费钱，不肯写字。差人道：“既要行贿，不是些小之物可以干得脱的，极少也费百金，才可以望得幸免。”呆叟一口应承，并无难色，尽其所有，干脱了这个苦差。未免一精一疲力竭，直到半年之后，方才营运得转。正想要在屋旁栽竹，池内种鱼，构书属于住宅之旁，蓄蹇驴于黄犊之外，有许多山林经济要设施布置出来。不想事出非常，变生不测，他所居之处，一向并无盗警，忽然一夜，竟有五七条大汉，明火执仗打进门来，把一家之人吓得魂飞胆裂。
呆叟看见势头不好，只得同了妻子立过一边，把家中的细软任凭他席卷而去。既去之后，捡着几件东西，只说是他收拾不尽、遗漏下来的；及至取来一看，却不是自己家中之物，又不知何处劫来的。所值不多，就拿来丢过一边，付之不理。他经过这番劫掠，就觉得穷困非常，渐渐有些支撑不去；依旧怕人耻笑，不肯去告贷分文。心上思量说：“城中亲友闻之，少不得要捐囊议助，没有见人在患难之中坐视不顾之理。与其告而后与，何如不求而得？”过不上几日，那些乡绅大老果然各遣平头，赍书唁慰。书中的意思便关切不过，竟像自己被劫的一般。只是一件可笑：封封俱是空函，并不见一毫礼物，还要赔酒赔食款洽他的家人。心上思量道：“不料人情恶薄，一至于此！别人悭吝也罢了，殷太史与我是何等的交情，到了此时也一毛不拔，要把说话当起钱来，总是日远日疏的缘故。古人云‘一日不见黄叔度，鄙吝复生。’此等过失皆朋友使然，我实不能辞其责也。”写几封勉强塞责的回书，打发来人转去。从此以后，就断了痴想，一味熬穷守困。又过了半年，虽不能够快乐如初，却也衣食粗足，没有啼饥号寒之苦。不想厄运未终，又遇了非常之事。忽有几个差人赍了一纸火票上门来捉他，说：“其时某日拿着一伙强盗，他亲口招称，说：‘ 在乡间打劫，没有歇脚之处，常借顾某家中暂停。虽不叫做窝家，却也曾受过赃物，求老爷拘他来审审。’” 呆叟惊诧不已，接过票来一看，恰好所开的赃物就是那日打劫之际遗失下来的几件东西，就对了妻孥叹口气道：“这等看来，竟是前生的冤孽了！我曾闻得人说：‘ 清福之难享，更有甚于富贵。’当初有一士人，每到黄昏人静之后，就去焚香告天，求遂他胸中所欲，终日祈祷，久而不衰。忽然一夜，听见半空之中有人对他讲道：‘上帝悯汝志诚，要降福与汝，但不知所愿者何事？故此命我来询汝。’士人道：‘ 念臣所愿甚小，不望富贵，但求衣食粗足，得逍遥于山水之间足矣。’空中的人道：‘ 此上界神仙之乐，汝何可得？若求富贵则可耳。’就我今日之事看来，岂不是富贵可求，清福难享？命里不该做闲人，闲得一年零半载，就弄出三件祸来，一件烈似一件。由此观之，古来所称方外司马、山中宰相其人者，都不是凡胎俗骨。这种眠云漱石的乐处，骑牛策蹇的威风，都要从命里带来，若无夙根，则山水烟霞皆祸人之具矣。”说了这些话，就叫妻孥收拾行李，同了差役起身。喜得差来的人役都肯敬重斯文，既不需索银钱，又不擅加锁钮，竟像奉了主人之命来邀他赴席地一般，大家相伴而行，还把他逊在前面。
呆叟因前番被动，不能见济于人，知道世情恶薄，未必肯来援手，徙足以资其笑柄，不如做个硬汉，靠着“死生由命”四个字挺身出去见官，不想到近城数里之外，有许多车马停在道旁，却像通邑的乡绅有什么公事商议聚集在一处的光景。呆叟看了，一来无颜相见，二来不屑求他，到了人多的地方，竟低头障面而过。不想有几个管家走来拽住，道：“顾相公不要走，我们各位老爷知道相公要到，早早在这边相等，说有要紧话商议，定要见一见的。”呆叟道：“我是在官人犯，要进去听审，没有工夫讲话。且等审了出来，再见众位老爷，未为晚也。”那几个管家把叟望紧紧扯住，只不肯放，连差人也帮他留客，说：“只要我们不催，就住在此间过夜也是容易的，为何这等执意。”正在那边扯拽，只见许多大老从一个村落之内赶了出来，亲自对他拱手，道：“呆叟兄，多时不会，就见见何妨，为什么这等拒绝？”说了这一句，都伸手来拽他。呆叟看见意思殷勤，只得霁颜相就，随了众人走进那村落之内，却是一所新构的住居。
只见：柴关紧密，竹径迂徐。篱开新种之花，地扫旋收之叶。
数椽茅屋，外观最朴而内实一精一工，不竟是农家结构；一带梅窗，远视极粗而近多美丽，有似乎墨客经营。若非陶处士之新居，定是林山人之别业。
众人拽了呆叟走进这个村落，少不得各致寒暄，叙过一番契阔，就问他致祸之由。呆叟把以前被劫的情形、此时受枉的来历，细细说了一遍。
众人甚是惊讶，又问他：“此时此际，该作什么商量？”呆叟道：“我于心无愧，见了县尊，不过据理直说，难道他好不分曲直就以刑罚相加不成？”众人都道：“使不得！你窝盗是假，受赃是实，万一审将出来，倒有许多不便。我们与你相处多年，义关休戚，没有坐视之理。昨日闻得此说，就要出去解纷，一来因你相隔甚远，不知来历，见了县父母难以措辞；二来因你无故入山，满城的人都有些疑惑。说你踪迹可疑；近日又有此说，一发难于分解，就与县父母说了，他也未必释然。所以定要屈你回来，自己暴白一暴白。如今没有别说，县中的事是我们一力担当，代你去说，可以不必见官。只是一件：你从今以后，再到乡间去不得了。这一所住宅也是个有趣的朋友起在这边避俗的，房屋虽已造完，主人还在城中，不曾搬移得出。待我们央人去说，叫他做个仗义之人，把此房让你居住，造屋之费，待你陆续还他。既不必走入市井，使人唤你做‘冯妇’；又不用逃归乡曲，使人疑你做窝家，岂不是个两全之法？”呆叟道：“讲便讲得极是，我自受三番横祸，几次奇惊，把些小家资都已费尽，这所房子住便住了，叫把什么屋价还他？况且居乡之人全以耕种为事，这负郭之田比不得穷乡的瘠土，其价甚昂，莫说空拳赤手不能骤得，就是有了钱钞，也容易买他不来。无田可耕，就是有房可住也过不得日子，叫把什么聊生？”殷太史与众人道：“且住下了替你慢慢地商量，决不使你失所就是。”说完之后，众人都别了进城。独有殷太史一个宿在城外，与他抵足而眠，说：“自兄去后，使我有过不闻，不知这一年半载之中做差了多少大事。从今以后，求你刻刻提撕，时时警觉，免使我结怨于桑梓，遗祸于子孙。”又把他去之后追想药石之言，就以“闻过”二字题作楼名以示警戒的话说了一遍。呆叟甚是叹服，道他：“虚衷若此，何虑谠言之不至？只怕葑菲之见无益于人，徒自增其狂悖耳。”两个隔绝年余，一旦会合，虽不比他乡遇故，却也是久旱逢甘。这一夜的绸缪缱绻，自不待说。