卫青是卫子夫的同母异父弟弟。
卫青的母亲在平阳公主家做女仆，因丈夫姓卫，她就被称为卫媪。 卫媪生有一男三女，即儿子长君，长女君孺、次女少儿、三女子夫。
丈夫死后，她仍在平阳侯家中帮佣，与同在平阳侯家中做事的县吏郑季私通，生了卫青。
卫少儿又与平阳县小吏霍仲孺私通，生了霍去病。