薛家出了这等事，薛仁自然是再也坐不住了，心里想了想，提着礼品就到了顾府上。虽说薛家嫁过去的儿子薛嘉“已死”，但是薛嘉“死”前又没有被休出顾府，仍旧算是顾家人，顾薛两家的姻亲关系也没有变，因此薛仁厚着脸皮求上门去哭穷，想和顾家这里打打秋风。没想到顾钟鸣丝毫也没念着薛嘉的面子，表面上和和气气，言辞间却毫不相让，最后一个铜板也没给薛老爷。不过在薛仁看来，薛嘉没“死”之前，顾家看在娶了他儿子的面儿上自然会给他留些情面，可如今人都不在了，据说还是因为顾二少特意出海去寻人才使两人遭此一难，顾家没有直接把他赶出去就算是好的了。薛仁以己度人，倒是觉得这事正常。
只是薛家的姻亲大多和薛家家境相同，顾家豪富，尚且不肯挪给钱财，更可况是别家？薛仁不用上门也知道结果，索性也不特特地上门去丢这个脸面。只是债主逼在头里，薛仁也没办法，只能折合变卖了薛夫人的嫁妆和薛家的大半家产来还债。本来薛仁许诺了柳氏，等到自己过身后要留给柳氏生的儿子一份不错的家产，可是出了这档子事，薛家的家产大大缩水，能分给柳氏儿子的更是可怜。柳氏心里大恨，每逢机会就在薛仁耳边吹风，挑拨薛仁和薛夫人之间所剩不多的夫妻感情。这样一来，薛仁更是厌恨了薛夫人，连带着也厌了跟在薛夫人身边的郑氏。
薛夫人和郑氏接连失宠，薛夫人的两个儿子更是麻烦不断，其中有一个至今失踪未归，而薛夫人最疼爱的小女儿薛月兰最后还在柳氏的挑唆之下，没按照薛夫人看好的人家许人，反倒是被薛仁许给了一家暴发户，求了一大笔聘礼来赎回薛仁之前卖掉的一些铺子地契。这些事情堆积起来，薛夫人更是恨不得直接弄死柳氏。
薛月兰出嫁后薛夫人很是消停了一段时间，就在柳氏心里得意洋洋地以为自己在多年来的斗争中终于占了上风的时候，却不知道怎么就在上香的途中被人迷倒，被薛老爷逮住了和人偷情，实实在在地给薛老爷戴了一顶绿帽子。这一下子把薛仁给气坏了，也不顾柳氏生了儿子，直接把柳氏卖出了府。
结果柳氏被卖了不到两个月，事情不知道又怎么被人捅了出来。柳氏之前的下人中竟然有人拿出了证据，证明是薛夫人买通了人手，找了个男人进寺里故意奸污了柳氏，以此来陷害柳氏。柳氏在薛家十多年，却只给薛仁生了一个儿子。那孩子当年才不过十岁，知道事情后愣生生地跪在了薛仁的书房里给薛仁磕了九个头，一句话都没说，但那意思是显而易见的。
薛仁之前已经对薛夫人有诸多不满，听闻真相后更是大为光火，恨不得把薛夫人给直接休掉。只是薛夫人毕竟是他发妻，还为薛家操持了二十几年，妾通买卖，说到底柳氏不过是个姨娘，就算薛夫人不能容人，找个不敬主母的由头亲自把人给发卖出去，他也不能真的把薛夫人怎么样。最后也只是训斥了一顿，把人给禁足了了事。
薛仁以为事情到这儿就结束了，再怎么样也不能更混乱了。却没想柳氏给他生下的那个小儿子出门的时候在人群里和家里的下人挤散了，等他被人在小巷子里找到的时候已经被打得就剩下一口气了。等薛仁花了一大笔钱终于把人救回来了之后，薛仁那小儿子却告诉他，是他二哥薛禄买通了街上的小混混，故意把他弄进小巷子里狠狠地打了一顿，就是为了给他娘出气。薛仁的小儿子被打了以后虽然被救了回来，那之后却大病了一场，身体再也不如以前那么康健。这件事狠狠地触动了薛仁的神经。
就在这时，薛仁近些年纳进府里的一个年轻貌美的小妾却忽然查出了自己以及府里的诸多妾室都没有身孕的原因——原来薛夫人暗地里给她们这些得脸的姨娘都下了药，她们都坏了身子，以后再也不能怀孕了。这也是柳氏明明得宠多年，却也只生了一个儿子的原因。
薛福赌钱输掉了一大笔家产，之后不知道潜逃到了哪儿没了人影；薛禄开罪了上司丢掉了捐出来的官儿，还雇人殴打幼弟；薛夫人更是不容妾室，不但让人给他戴了一顶绿帽子，还给他的姨娘们下药，妨碍他的子嗣！
这下子薛仁再没犹豫，直接薛夫人休回娘家。
就在薛仁闹着要休妻的时候，之前还不知道躲到了哪儿找不见人影的薛福跑了出来，和薛禄已以及听闻此事跑回娘家的薛月兰三人一起跪下来求薛仁。可薛仁这次却是铁了心了，一心一意要休妻，丢下休书之后就把薛夫人直接送回了陶城的娘家。
那之后的几年里，薛福和薛禄更是肆意妄为花天酒地，恨不得把家里的钱花个精光，免得薛老爷将来把钱都留给他的小儿子。而嫁出去的薛月兰虽然夫家地位不高，和云城顾殷那样的大家族没法儿相比，但奈何确实有钱，她又是嫁给了家里的嫡次子，手里头不缺花用，时不时接济两个兄弟一些，更是让薛福薛禄两人把薛家搅和得乱七八糟。薛仁被气得差点头风发作，干脆直接采取强硬措施克扣了两个儿子的花用，任由他们自生自灭去，只打算好好培养柳氏给他