长子：杜致仁，1956年去美国哈佛大学读书，由于此时的杜家经济拮据，不得不向台湾银行贷款。但是就在杜致仁毕业前一年，银行却终止贷款。无奈之下，杜致仁只好向母亲写信，要求汇款3000美元以便支付学费，曹秀清在走投无路之下，只好向蒋介石写了借贷3000美元的报告，可是蒋介石签示只准借给1000美元，并且分两年支付。曹秀清将到手的500美元寄给儿子，长子接到支票，大失所望，由于精神抑郁，竟然服用安眠药自杀了。

　　次子：杜致勇，居台湾。

　　三子：杜致严，居台湾。

　　除了大女儿因为杨振宁的关系比较出名外，杜聿明将军的子女目前没有太详细的资料。

　　1964年11月，杜聿明应邀参加第四届全国政协会议，并被选为全国政协委员会委员。从昔日的战犯，到今天的政协委员，走进人民大会堂参政议政，这是一个多么大的变化呀。正当杜聿明准备大干一番的时候，“文化大革命”开始了，周围的一切立即陷入了混乱和无序之中。在这场浩劫中，杜聿明也未能幸免。一天，“破四旧”的“红卫兵”来到了杜聿明家中，把他家的《文史资料选辑》、照相机、缝纫机都搬走了，最后又要把杜聿明大儿子的骨灰盒当作“四旧”拿走丢掉，曹秀清急了，她冲上去说：“这是我从美国带回来的，不能丢!”骨灰盒总算没被拿走。