卫青是卫子夫同母异父的弟弟，他的父亲是小吏郑季。卫青的母亲与郑季生下卫青后，因无力抚养便将他送到了郑家。 作为私生子的卫青在郑家受尽了欺负，于是在他10岁时，他便投奔了母亲。 当时卫青的母亲在平阳侯府做婢女，卫青便跟着母亲在府中做事，成了一位马夫。 因为卫青身份低微，时常被府中的恶奴鞭打。一次正巧被平阳公主撞见，便训斥了恶奴，并让卫青做了自己的贴身马奴，自此卫青才不被人欺负了。