夏之时一生前后有三位夫人。

夏之时原配夫人阎氏，1913年病逝，育有一子，夏述禹。

第二任夫人系20世纪传奇女性董竹君。董竹君，江苏省海门市人，出生在上海，是一个洋车夫的女儿，早年被迫沦为青楼卖唱女，后结识了夏之时，进而跳出火坑，结成伉俪。婚后，随夏之时踏上了去往日本的旅途。在日本，董竹君生下了他们的第一个孩子，还在家读完了女子高等师范学校的全部课程。 后来，她创办了上海锦江饭店，南京及上海军政要员也经常出没于此。卓别林访问中国时，曾在锦江饭店品尝香酥鸭子。解放后，董竹君将饭店无偿捐给了人民政府，后连任七届全国政协委员，堪称女权运动的先驱。1997年12月6日，因病在北京逝世，享年98岁。生前著有自传《我的一个世纪》，著名导演谢晋以其经历拍成了电视剧《世纪人生》。1929年，分居五年后，董竹君在上海与夏之时正式签署离婚协议 。她只提出了两点要求：其一，夏之时不要断绝抚养费；其二，一旦她有个三长两短，请夏之时念气情分，培养四个女儿大学毕业。但是后来夏之时并没有履行，还强迫其交出孩子。董竹君予以拒绝 。

第二位夫人董竹君，两人1914年在上海结婚，1929年分居，1934年在上海离婚。育有4女1子。

长女 夏国琼 1917年出生（美国籍）

次女 夏国琇 1920年出生（已过世）

三女 董（夏）国瑛 1920年出生

四女夏国璋1922年出生 （美国籍）

一子 夏大明 1926年出生

第三位夫人唐则吾，1939年结婚，育有一女，夏国琪。