战乱平息后，鄣吴村满目疮痍，吴宅也化为废墟。“故乡虽未远，易地也忧伤。”同治四年（1865），吴昌硕二十二岁时随父移居县城安城，买“朴巢”为读书之地，并辟建“芜园”，吴昌硕在此度过九年耕读生涯。