这还要从八年前说起。
在严祺丢官之前，漪如曾经找过吴炳，问他将来的打算。她明确地告诉吴炳，自己不会当上太子妃，严家也不会一直风光下去。吴炳既然有一大家子人要养，那么便须得认清形势，早做打算。
吴炳听得这话时，大吃一惊。那时，严家仍风平浪静，甚至漪如因为皇帝刚刚默认了婚事而风光大盛。他万万没想到，她竟会说出这样的话来。不过漪如的神通，吴炳是知道的，她说的话都会应验。再三思索之下，他向漪如坦言，自己会赎身出府，离开严家。
得了这回答，漪如心中其实松了一口气。虽然这些日子，吴炳言听计从，也帮她做了许多事，但漪如知道，他不过是受了那怪力乱神的威慑罢了，有了上辈子的经历，漪如仍然不敢让这么一个曾经背叛过严家的人留下。他愿意离开，那是再好不过。
后来，漪如果然当不成太子妃，严祺也果然丢了官。吴炳见状，便老老实实按照先前许诺，以家中长辈病重为由，求严祺放他赎身，回家尽孝。
他本以为严祺会斥他无情无义，可是不料，严祺不但没有发怒，反而嘘寒问暖。他没有收吴炳赎身的钱财，只让人将卖身契取来烧了，去官府里给他除了奴籍。在吴炳离开时，严祺还送了他大笔的钱物和治病的药材，并告诉吴炳，若是乡里的郎中看不好，就来找他，他帮忙请太医去看。
接着，让漪如始料未及的事发生了。吴炳突然向严祺跪下，声泪俱下地将自己从前在严家做的那些见不得光的事都说了出来。他还想把宋廷机买通他陷害严祺的事也供出来，漪如见苗头不对，连忙碰翻了茶杯。
吴炳回神，这才打住。
严祺看着吴炳，虽惊诧，却也没有为难他，亲手将他扶起。
“自我祖父当年入京，吴管事便一直在府中服侍，至今已有四代。”严祺道，“从前之事一笔勾销，管事不必再提。日后，管事与我亦非主仆，有用得着的地方，仍可来找我。”
吴炳愈加感动，又哭了一场，泣拜而去。
漪如原以为从此以后，她再也不会见到此人了。
可是不料，她来到扬州之后不久，有一天，吴炳竟登门而来。
他见到容昉和漪如之后，恭敬行礼，从怀中拿出一封信来。二人看去，却见是严祺的手书。在信里，严祺说吴炳曾经经商，如今想重拾旧业，有意投奔容昉门下，请容昉收留。
容昉很是意外，却也颇是高兴。他向来知道吴炳的本事，此人办事周道，人情练达，若能到他手下帮忙，是再好不过。
漪如却狐疑不已。
她将吴炳唤道书房里询问，吴炳对漪如坦言，说他父亲已经过世，年初的时候与弟弟分了家。如今，他不必再顾着别人，只将家财田产都交给妻儿打理，自己则出来，打算重拾旧业，试一试身手。
漪如看着他，颇为犹豫。
她知道吴炳此人本性不坏，从前他贪污钱财，也都是因为长辈虚荣好排场，挥霍无度，逼着他只能从严家身上刮油水。以至于被宋廷机拿到把柄，要挟他做出那背叛之事。他离开严家时，已经主动向严祺诚心悔过，这些事，确可以不计较。但将来如何，漪如自己也拿不准。
思索之下，她还是答应了让吴炳留下。不过她也跟他说好，他们不再是主仆。若他容昉手下干得不好，她一样会让他离开。
吴炳应下，从此，就留在了容昉的货栈里。