山背岗行政村由郑家行政村和山背行政村组成。

原山背行政村村位于赤溪街道办事处驻地西3公里。因村位于吴塘小山背，故名山背。地属平原，区域面积1.38平方公里，耕地1300亩，水面186亩。辖吴塘、童家、后麻车、王册里4个自然村，11个村民小组，295户，976人。以种植粮食、棉花、油菜、柑橘、西瓜为主，兼营珍珠。村中有祠堂、中山堂古迹。

吴塘自然村，村以姓氏和塘得名。后麻车自然村，因有前麻车，故名后麻车。童家自然村，童姓聚居，故名童家，与吴塘、后麻车合称吴塘山背。王册里自然村，先祖为下王村人，清末入册于该里，故名王册里。

原郑家行政村，位于赤溪街道办事处驻地西南2500米。地属平原，区域面积1.48平方公里，耕地1431.5亩，水面155亩。辖郑家、周家、杨家、小吕家、新殿下、徐店、汤家7个自然村，9个村民小组，357户，1130余人。

周家自然村，围周姓聚居。郑家自然村，村以郑氏聚居得名。徐店自然村，村以徐姓聚居，古时曾有街道店铺得名。新殿下自然村，村有一新殿周唐圣庙，故名。小吕家自然村，村以姓氏得名，为区别永昌街道李家，故又称小吕家。杨家自然村，村以姓氏得名，与杨塘杨家重名。汤家自然村，村以汤姓聚居得名。

山背吴氏宗祠位于赤溪街道山背村，为该村吴氏家族总祠，现存建筑为清中期，平面为三间三进五开间两明堂，正面建有砖雕，门楼、内有木雕，狮、象、鹿、鹤、花卉人物，工艺精湛，占地面积700平方米。坐东朝西，硬山顶，阴阳合瓦。前进用四柱三楼坊式，砖雕门楼，檐口有出二跳砖雕斗拱承托，明间为一戏台，梁架不露明，上设平棋。中进梁架为四柱九檩，为五架梁带前后双步梁，月梁造，梁断面呈鼓形，梁嘴饰半月状龙须纹，梁下用扇形雀替及丁头拱。2005年11月3日公布为兰溪市文物保护单位。2011年被列入省文物保护单位。

近年来，山背村对吴氏宗祠进行了整体维修。村里开展了村庄整治，“污水共治”，村庄美丽整洁，景象一派美好。