谢老太太与娘家族人闹翻，根源可以追溯到她的少女时代，她父亲吕少卿死在牢狱时起。
吕少卿当年被定了贪腐渎职之罪，其实真正的原因是站错了队。他虽是个小人物，却抱上了上司的大腿，而他的上司，又恰好拥护承德帝的一位皇子争位。不过，承德末年的夺嫡之争，所有皇子都是输家，最后同归于尽了，平白便宜了他们的堂兄弟燕王世子。每位皇子的拥护者，或是在夺嫡过程中受到对家攻击，沦为牺牲品，或是在夺嫡之争结束后，被承德帝视作害死儿子的原凶而处置，几乎都没有好结果。
吕少卿还更倒霉些，他虽然只是小人物，但并不算无辜，确实有过贪腐渎职的行为，只是罪行太轻，本不致死罢了。所以，即使后来的几位皇帝都曾经对这段时期内冤死的臣子们进行过平反，以示君王的宽仁恩德，但基本没什么人会平反到吕少卿的头上。
但说他倒霉，其实他也算是幸运的，因为他没等到上刑场，就病死在狱中，避开了身首异处的结局。而他被流放边疆的妻女，则因为新君登基，大赦天下的缘故，在流放路上就遇赦放回了，身份也从罪眷变成了平民。
不过吕少卿因罪而死，连累了家族。当年还年轻的谢老太太陪同母亲回到族里时，颇受了一番冷遇。她嫁给谢泽湖后，就基本没再回去过长兴老家了。等到她丧夫之后，变卖家产，私自带着儿子和未过门的儿媳出走松江，更是连想都没想过要回湖州去生活。
但谢老太太心里一直惦记着父亲的死，总想着要为父亲平反，好坐实自己官家千金的出身。不然她就只能在夫家族中炫耀这一点罢了，碰上知道自己根底的宋氏，还有可能清楚她父亲事迹的外人，她就一句话都不敢提了。
她当年会那么积极地促成儿子谢璞与曹氏的婚姻，其实也有借曹家权势为父平反的意思。不过，在谢曹两家关系良好的那十几年里，曹家对她的诉求也是很敷衍的，顶多就是帮着递了几句话，促成了她父亲吕少卿当年的老上司平反罢了。至于吕少卿这样的小人物？谁记得？
可谢老太太一直觉得，自己父亲是跟着老上司一块儿蒙难的。老上司平反了，四舍五入也就跟她父亲平反了没两样。在她察觉到其中的区别之前，还真得意了一两年的功夫。在那一两年里，她一度大张旗鼓地返回长兴老家祭父祭祖，在族人面前也没少炫耀她的好姻亲曹家如何有权有势，那种暴发户式的嘴脸，以及傲慢无礼的态度，几乎把吕氏合族上下都得罪遍了。
吕氏族中碍着曹家势大，忍气吞声，没敢跟谢老太太争吵，只是在族里为吕少卿择了一个老实的嗣子，办了过继仪式，由他继承吕少卿这一支的香火。但谢老太太从来没把这个嗣弟放在心上，嗣弟便也不与她来往，自顾自地在老家祖宅里过自己的小日子，生儿育女。
据珍珠说，谢老太太的这位嗣弟，如今已是儿孙满堂，把原本并不算大的祖宅占得满满当当的。谢老太太回去后，族里人人都不待见。不过考虑到她虽然跟有权有势的亲家翻了脸，儿子却还是个从三品的高官，并未失势，倒也没什么人故意与她为难，只是没人再忍她的闲气罢了。她的嗣弟愿意收留她在祖宅居住，但只能拨出半间偏院，谢老太太怎么可能受得了这个气？
珍珠哽咽着对文氏母子等人道：“老太太成天骂骂咧咧地，那位嗣老爷的儿孙们也不是易与之辈，每日说话含沙射影不说，无论三餐供给，还是衣裳用物，样样都怠慢得很。我与何妈妈只能想法子，自己掏钱为老太太买菜做饭，请医吃药，可是老太太……她忍不住那口气！”因此又气得吐了一回血。
文氏心里对谢老太太和吕家族中的恩怨，其实门儿清，闻言也不好多说什么，只道：“若是住得不顺心，搬出来就是了。老太太的病要紧，只要养好了，她老人家上哪儿去不行呢？长兴住不惯，进湖州城去就是了。我们家从前在湖州也有商铺，虽说如今都落到曹家手里了，但相熟的商家还有几个，借住一下人家的别业，想来也是不难的。若是不知道哪家人可以信任，寻铺子里的伙计打听就是了。”
珍珠擦着泪说：“我们做下人的，哪里知道这些？当时就只想着请吕氏族里的长辈们为老太太做主，可一直没有人愿意替我们说话。后来我们听旁人说了，才知道老太太不但当年祭祖时，把合族人都给得罪了，过后族里有后生上京赶考时，有无处住宿，或是囊中羞涩，也曾有人求到家里，请老太太伸把手，可老太太一概不理会，给一两吊钱，就把人给打发了。那可都是正儿八经的举人老爷！族中各房各户为此都十分气愤，十多年来再没人上过门。可老太太一概不放在心上，只当作是小事……”
因此在遇到麻烦时，谢老太太才会想到要投奔娘家族人，而忘了自己曾经做过些什么。
珍珠与何婆子得知这些真相时，都快崩溃了。吕氏合族对谢老太太冷淡以对，她们都没底气跟人说话。眼看着谢老太太的病情稍稍好转了些，她们就立刻劝说主人换地方了。
这一回，她们力劝谢老太太，若不肯返回金陵家中休养，就回湖阴县老家来吧。若是实在不愿意与谢家族人碰面，她们也不反对，毕竟去过吕氏族中一回，她们也怕了，担心在谢家族中，也会是同样的待遇。
她们觉得，湖阴县那么大，谢家族人又在一处聚居，并非遍布全县，她们完全可以住得离谢家远些，不与谢家人碰面就是了。但湖阴县有文氏和谢显之、谢谨之等人，谢老太太有晚辈至亲可以依靠，总比独自一人在外强。
这一回，谢老太太总算意动了。
她又再命何婆子当了一部分行李，换来盘缠，雇了两辆车，主仆一行离开长兴县，坐车前往湖阴。不过，她没有入湖阴县城，而是转道去了谢家从前的聚居之地谢家湾。
景乐八年，太湖周边闹水患，谢家湾被淹，谢家族人的房舍受损严重。过后湖阴县令在县城边上拨地，让谢家族人迁居，谢家湾这一片就荒废了。这件事，谢璞曾经向母亲提过，但谢老太太不高兴，他也不敢再提起。不过事情已经记在谢老太太脑海里了。到了湖阴县境内，她再让何婆子出去一打听，确定谢家湾还有房子，却没有谢家族人后，便立刻决定在此住下。
珍珠满面疲惫，对文氏等人道：“老太太如今就住在老宅，打发我到平望镇来等你们。如今，我总算等到了太太和少爷姑娘们。再拖两日，只怕老太太就没钱吃药了……”