匈奴族人刘聪,字玄明,又名刘载,是匈奴冒顿单于的后代。汉高祖将其宗室之女嫁给冒顿,所以他的子孙就以其母的姓作为姓氏。刘聪的祖父刘豹,被封为左贤王。到了曹魏时,把匈奴部族民众分为五部,以刘豹为其左部的部帅。刘豹虽然属于匈奴五部,但其家都居住在晋阳汾水之滨。
刘聪的父亲刘渊,体貌异常魁伟强壮,体力超过常人。晋朝初年他作为匈奴派出的人质,居住在洛阳。刘豹死后,刘渊就取代他为匈奴左部主帅。后来把帅改为都尉,就授任刘渊为北部都尉。杨骏辅佐晋帝执政的时候,授刘渊为建武将军、五部大都督,封爵为汉光乡侯。后来他因匈奴人反叛而获罪出