曾三的儿子幼云，出生于革命战争年代。1927年汪精卫“七·一五”反革命政变后，曾三为了逃避国民党反动派的追捕，携妻从武汉到上海从事地下工作。不久党组织通知他到苏区去。妻子当时怀着幼云，行动不便，曾三只得只身离沪。

　　到苏区后，曾三曾接到党组织秘密传来的幼云出生后的一张照片，尔后便再无联系。直到在延安，才从一位同志那里得知幼云出生后，妻子奉上级指示，做了朱义才同志的交通员。由于当时上海地下党组织接连遭受破坏，为安全起见，朱义才把幼云送到河南老家，交母亲抚养。后来，朱义才和幼云生母先后被敌人杀害。朱家悉心保护和抚养着幼云，幼云长大后一直不知道自己的身世，朱母也不知道幼云是曾三的儿子。

　　解放后，河南商丘地委的同志把幼云的来历告诉了朱家和幼云。幼云随即赴京，父子相见，抱头痛哭。幼云提出要改姓，回到父亲身边。

　　曾三感慨地说:“你是我的儿子，我是你的父亲，这没错。可保护和养育过你的人都为革命栖牲了，朱家含辛茹苦，好不容易把你抚养成人，你一旦离开，他们会伤心的啊。”

　　曾三念及朱家没有子嗣，为了安慰烈士一家，说服了儿子，留在朱家，扎根河南农村。

　　曾三对子女严格要求，对亲属也不例外。1990年3月病重期间，他拉着专程从益阳赴京探望他的侄儿景恒的手说:“我对不起你们，没有给你们办过什么事。”

　　的确，曾三虽然身居要职，但一生从未利用职权，为亲属们工作安排、工作调动之类的事找人打招呼、写条子。他经常告诫亲属:“你们不要对我有什么指望，在外不要打我的牌子，一切要靠自己努力。”

　　解放初期，侄儿景恒从华北人民大学毕业后，本可留在京城工作，可曾三却动员他到最艰苦的地方去。结果分到了河南商丘，这一去便是几十年。周围的人都不知道他是曾三的侄子，夫妻俩天各一方，长期分居，直到1976年与人对调回益阳，才得以与家人团聚。

　　侄女岱林，曾三兄曾海楼之女。曾海楼原为益阳市副市长，1957年被错划成右派。岱林中专毕业后，受家庭影响，未分配工作，一直在街道做临时工。党的十一届三中全会后，曾海楼得到平反，并被选为市人大常委会副主任，但岱林仍无正式工作。曾海楼夫妇在革命战争年代，冒着风险资助曾三从事革命活动。曾三长年在外，曾海楼夫妇又毅然承担起抚养曾三两个儿子的责任。10多年如一日，直至全国解放。曾三从心底感激兄嫂，敬重兄嫂。

　　1984年春节，曾三回到阔别多年的家乡，探望对他恩重如山的兄嫂。闲聊中，嫂子提及女儿至今无正式工作，心感忧虑。曾三劝慰道:“这种事我不便去打招呼，放心吧，该解决的总会解决。”

　　曾海楼逝世后，有关部门根据政策规定，终于在1985年底解决了岱林的工作问题。从学校毕业到正式安排工作，期间经历了整整24年。