袁子才在江宁，公余之暇，便邀集一些文友到家里来喝酒、吟诗。他的文才原是众人所恭维的，他每次审理案件之后所写的判决书，都是些很有趣味的骈体文章，所以当地的文人，如知某日宣读一份判词，必先争着把它抄录下来，互相传阅。按说在江宁知县任内，他应该觉得很得意了，可是他却不脱文人放浪形骸的习性，总觉得做官对他是件很拘束的事，便称病辞职，在家里休息了一段时间。不久，朝廷又派他到陕西去当知县，就在这个时候，忽然接到他父亲逝世的噩耗，他就请假回家守制去了。接着，他又因为母亲年事已高，需要他在家侍奉，从此以后，便不再出来做官，逍遥自在地在南京的小仓山下修筑了一座房屋，颇极庭园之盛，称作“随园”，和他的母亲住在里面。

　　袁子才有好几个姨太太，生的都是女儿，一直到他六十二岁那年，才生了一个儿子，取名阿迟。

　　袁子才是一个懂得享受的人，他在闲居的时候，除了游山玩水之外，还讲究饮食，他曾写过一本食谱。他又特别喜爱女孩子，许多富有文才的女子都来拜他为师，因此有“随园女弟子”之称，这种行为曾引起当时一班卫道者的愤怒，他的朋友赵翼（云松），曾经写过一篇文章，里面有几句说：“结交要路公卿，虎将亦称诗伯；引诱良家子女，娥眉都拜门生。”也反映了当时人对他的看法，他却毫不在意，依然我行我素，自得其乐。袁枚活到八十二岁才死，他这一生算是享尽园林的清福了！但有许多行为，是难以得人同情的，虽然恭维他的人也有，但诋毁他的只怕比称颂他的人还多呢！

　　袁子才为官仅十年许，他的诗虽然写得很好，但是我多看了几种有关他的记载之后，发觉上面所记仍然有“隐恶扬善”之嫌，特别是他任江苏省江北的溧阳和溧水两个穷乡僻县，百姓都是清苦得很的，只有江宁比较富，为官不过十年余，由一个穷士，一变而成为富室，自奉甚奢，又建“随园”，自称园址即是大观园故址，引起我不少反感。