他在做官时，征妓选色，所以他的记室，也时出狎游，在他的诗话中，也说到这事。

　　余知江宁时，记室史正义苕湄，时出狎游，予爱其才而不禁也。

　　袁子才与郑板桥是同一时期的人，但他们二人起初是不相识的。可是他的诗话中，说到板桥多外宠。郑板桥是在山东做官的，所谓多外宠，即是现在人所说的情妇很多。原来郑板桥与袁子才也是一流人物。关于他记郑板桥的记述，我也引述一下：

　　兴化郑板桥作宰山东，与余从未识面，有误传余死者，板桥大哭，以足蹋地，余闻而感焉。后廿年与余相见于卢雅雨席间，板桥言天下虽大，人才屈指，不过数人。余故赠诗云：“闻死误抛千点泪，论才不觉九州宽。”板桥深于时文，工画，诗非所长。板桥多外宠，常言欲改律文笞臀为笞背，闻者笑之。

　　他的朋友杜昌丁，到西藏去做官。西藏的风俗，对男女关系比较随便，从前有人做过一本《西行艳异记》，登在《上海时报》上，说汉族人到那边去敲门借宿，主人例必将自己的妻女来奉客，而且还陪宿。这篇游记登出来之后，哄传一时，在《随园诗话》中，也有一段提到这件事。

　　康熙庚子，常熟杜昌丁入藏，过澜沧百里，其部落曰古宗，有小女名伦几卑，聪慧明艳，能通汉语。昌丁来往，屡主其家，见辄呼木瓜呀布。木瓜者，尊称也，呀布者，犹言好也。彼此有情，临行以所挂戒珠作赠，挥泪而别。归语士大夫，咸为抚然！

　　袁子才出外旅游，时喜有美作伴，非此不欢。有一次到过广东，寻珠女作乐，所谓珠女，俗称艇妹或蛋家妹。在他的诗话中，有一段是说：

　　广东珠娘，皆恶劣无一可者，余偶同龙文弟上其船，意致索然，问何姓名？龙文笑曰：皆名春色。余问何以有此美名？曰：春色恼人眠不得。