且不说撤藩引起吴三桂如何震惊，陷入深深的痛苦之中，就说他的属下，当撤藩令一下到云南，同样深深地撞击着三桂集团中每个人的心。他们起初是震惊，继而“愤愤不平”，不禁同声愤慨：“王功高，今又夺滇！”《庭闻录》，卷4，14页。他们在为三桂鸣不平，同时，也为他们个人将失去已得到的和将要得到的权益痛心疾首。他们跟随三桂多年，早把自己的命运同三桂的利益紧紧地联系在一起，所谓一荣皆荣，一损皆损。这批人，都与三桂有着血缘的或虽非血缘、彼此却有着特殊的利害关系，构成了以吴三桂为核心的政治军事集团。其主要成员有：

吴三枚，三桂的从弟，在昆明城，很有势力，“探凡胠箧之徒”，都投靠在他的门下。

吴应期，三桂的侄儿，骁勇善战，官至都统，是三桂的得力战将。

三桂有四个女婿：胡国柱、夏相国、郭壮图、卫朴。他们颇具才干，或文，或武，或文武兼备。如胡国柱，字擎天（一说汝弼），号怡斋，善诗文，有大志，顺治甲午年（1654年）中举。《庭闻录》，卷6，5页。参见《滇粹》，“旅滇闻见随笔”。

吴国贵，三桂的大将，早在关外时，便追随三桂，军功颇多，官至都统，治军严，敢争战，很受三桂重用。

方光琛，字献廷，原明礼部尚书方一藻之子。此人善谋略。

刘茂遐，字玄初，是三桂的重要谋士。

马宝，字城璧，山西人，为人反复无常，号“两张皮”，狡黠善战，以勇著称。

在吴氏集团中，除了上述所提到的三桂弟侄，还有三桂的一批子弟，这些人都不见经传，但都在吴氏集团中占有一定地位，形成一股势力。在外省，也有三桂的心腹，如固原提督王辅臣等，也应包括在这个集团之内。

这批人中，除了个别的岁数稍大，绝大部分都在二十至四十岁之间，他们雄心勃勃，都希图借助三桂的权势飞黄腾达。三桂也凭借自己的地位和权力给予他们特殊的利益，个个华屋美食，享受着种种特权。如果撤藩，回到关外，不过经营田庄罢了，他们中很多人的仕途即告终止。失去政治上的靠山和特权，其子孙的发展将受到限制和阻碍。值得注意的是，这个集团的某些人还抱有复明反清之志。如胡国柱“时以恢复宗国（指明）相磨砺”，阴结马宝，张国柱、李本琛、复国相、方光琛，互为羽翼，从思想上逐渐向三桂渗透，影响他，以备有朝一日起兵。《旅滇闻见录》，见《滇粹》。而圣祖撤藩，触犯了他们的根本利益，激发了他们反清的思想，他们不会心甘情愿地接受朝廷对自己的剥夺。

圣祖撤藩也使吴藩属下的广大基层吏民感到不安，多抱抵触情绪。据吴三桂报，他属下家口多达数万人。如按地域分，主要由三部分人构成；一是辽东人，他们是跟随吴三桂降清的原班人马，经三十年的转战流徙，病死、战死、伤残，或间有逃亡，已损耗甚众，即使健在的，也已年迈。当初离辽东时，他们中有些还是几岁或十几岁的孩子，现在已长大成人，辽东在他们的心目中，只留下故土的模糊概念，他们已适应了南方的生活。所以，真正怀念故土的为数不多。二是黄河以北的人，如山西、陕西、河南、河北等省，当年都曾是三桂战斗过或驻防过的地方，曾收编了大批农民军余部，这些人对辽东没有故土之念，要他们迁到山海关外，他们不抱热情。三是四川、云贵等省的人，他们或是张献忠的余部，或是南明统治下的土著人，他们对辽远而寒冷的辽东抱有畏惧心理。在他们的心目中，辽东曾是发遣罪犯的地方，如今要把他们迁到那里，简直被看成是被贬谪戍！这部分人最不愿到辽东。