三桂妻妾虽多，子女却很少。他因叛清而遭灭族之灾，没有家谱传世，很难确知他的家庭人口。不过，从已知的史书中所记，三桂只有一个儿子吴应熊。应熊在北京成家，有子四人，三桂的女儿大约有六个，无事迹可考，只知她们丈夫的名字。在云南的有四个，即胡国柱、夏国相、郭壮图、卫朴，他们既是三桂的女婿，又都是他的心腹之将。《平吴录》、《庭闻录》，卷6，4页。另两个，一居广陵（扬州），丈夫姓什么叫什么，皆失考。一居苏州拙政园，她的丈夫，就是王永宁。三桂还有一个侄儿，名叫吴应期；一个从弟，叫吴三枚。再加上他的妻妾，构成了他的家庭基本成员。他的哥哥吴三凤自留守中后所祖坟，便音讯皆无。

三桂的家庭，倒没什么大矛盾，问题还是出自后宫。他的王妃张氏，为人强悍，好嫉妒，见有貌美的受到三桂宠爱，想方设法陷害，甚至不惜弄死，使很多新召进王府中的年轻女子死于非命。圆圆受三桂的宠爱，张氏自然妒火中烧。圆圆为避祸，便事事顺从她，处处尊重她，不让她抓住自己的纰漏。同时，她还避免同张氏争风斗艳，谢绝过分的豪华，独居另一院落。张氏为正妃，至贵至尊，圆圆位低而宠，她却不愿跟张氏相倾轧，想法保持着亲如姒娣的关系。八面观音、四面观音、莲儿等人，因为被三桂格外宠爱，张氏不敢加害，无可奈何。可怜那些从外地新买进来、出身又卑贱的小姑娘，都成了张氏嫉妒的牺牲品！