文革期间，当地群众自发地保护这一古建筑和部分文物．井在这里办起了一所普通中学，用“陡山中学”的校牌掩盖了“家承赐书”大厦，直到改革开放后才使之重见天日。

登上柯堂的术楼，四壁上的木雕、图案令人眼花缭乱，色彩依然艳丽夺目．楼顶是一幅红、白、蓝三色相间的太极图。楼下是一幅长约4米的横匾木雕，刻画的是清代武汉三镇的人文街景．特别是座落于蛇山之巅的黄鹤楼，突出在显要的位置上，据说后来重修黄鹤楼时，一些专家学者还曾以它作过参考。图中还表现了武汉三镇高楼林立、长江上千帆竞发、街道上人来人往的繁荣景象，就连人物的面部表情也刻画得淋漓尽致。

如果站在观乐楼上，便可总览前院垒景。前院有两棵合抱的桂花树，有100多年的历史，被视为珍宝，每逢桂花盛开时节，秋风送爽，香飘十里之外。穿过前院便到了正殿，这里曾是吴氏家族议事的地方，上有祖宗的牌位，长年香火不断，大殿的装饰华丽，还有一幅百鼠构成的木雕，那成群的老鼠在葡萄树上展示出各种形态，或藏或隐、有翘有垂、欲吞欲吐，任凭你无限地退想。其实这“百鼠图并非实有百只老鼠，如果你花一番工夫去散一散．这些老鼠也不过只有50来只。令人百思不解的是，用老鼠这一人人厌恶的动物构思画雕，是极少见的，不知古人是何用意。当然，四壁还雕有凤凰、仙鹤、麒麟、狮子等珍禽异兽，其艺术造诣更是令人叹为观止。

来到寝殿，与正殿就不同了，从整体艺术布局看，还是以术雕为主，一般来说，四壁的装饰雕刻与各厢房的使用性质彼此映衬，根据层次不同，有的雕刻图画典雅，艺术构思深刻，构成一幅幅动物图案。庭院间用镂空浮雕的板块相隔，颜色大都以朱红玉漆为主要色调。寝殿也是祠堂的后院，院内并立两操古梅，给人十分庄严肃穆的感觉。原来，这里是吴姓家族中有头面的人物聚集议事和休息的地方。殿的两旁是厢房，大约10平方米，门窗大都用各种月季花配装，立体透空雕刻，以保持良好的通风采光，给人一种清闲的美感。虽在居室，但可赏观田野风光。