先不放后世对卫子夫的评价了，就放同是西汉时期的士大夫桓谭的评价，对卫子夫一个歌女当皇后也是嗤之以鼻的，一口一个歌儿卫子夫。
这何来西汉皇后不重视家世一说？
桓谭《新论》：
汉武帝材质高妙，有崇先广统之规，故即位而开发大志，考合古今，模获前圣故事，建正朔，定制度；招选俊杰，奋扬威怒，武义四加，所征者服；兴起六艺，广进儒术，自开辟以来，惟汉家最为盛焉，故显为世宗，可谓卓尔绝世之主矣。然上乃多过差，既欲斥境广土，又乃贪利，争物之无益者：闻西夷大宛国有名马，即大发军兵，攻取历年，士众多死，但得数十匹耳。【又歌儿卫子夫，因幸爱重，乃阴求陈皇后过恶而废退之】，即立子夫，更其男为太子。后听邪臣之谮，卫后以忧死，太子出走，灭亡不知其处。信其巫蛊，多征会邪僻，求不急之方，大起宫室。内竭府库，外罢天下，百姓之死亡不可胜数。此可谓通而蔽者也。
后汉书桓谭部分也提到了
《后汉书·桓谭冯衍列传第十八上》：
傅皇后父孔乡侯晏深善于谭。是时高安侯董贤宠幸，女弟为昭仪，皇后日已疏，晏嘿嘿不得意。谭进说曰：“【昔武帝欲立卫子夫，阴求陈皇后之过，而陈后终废，子夫竟立】。今董贤至爱而女弟尤幸，殆将有子夫之变，可不忧哉！”

外戚世家：及李夫人卒，则有尹婕妤之属，更有宠。然皆以倡见，非王侯有土之士女，不可以配人主也。

原配很注重家世