李夫人生下昌邑王刘髆后，李延年由贱而贵当上了二千石的协律都尉，并且和皇帝一起起居。久之，李延年的弟弟李季和众人淫乱，出入骄横跋扈。 太初年间，李夫 人去世前曾为嘱托追思、优待其兄弟而掩面不见汉武帝。[1]待李夫人死后，李延年、李季因行淫乱之事犯“奸”罪，李氏兄弟都被灭族。[2]其时李广利因在外攻打大宛而躲过一劫。 至昭帝即位初，霍光“缘上雅意”将李夫人配食茂陵追尊皇后之时，李家已无人口，故也省去为李家封侯，从而不必担心李氏分权。昭帝也只得将其生母赵婕妤追为孝昭太后而非孝武皇后，因此无法将自己庶出少子的小宗身份改为嫡出大宗。