因为久等张骞等人不归，汉武帝已经开始了对于匈奴族的大规模用兵。
公元前129年），匈奴兴兵南下直指上谷（今河北省怀来县）。汉武帝任命卫青为车骑将军，率领一万骑兵，迎击匈奴。汉武帝分派四路出击。车骑将军卫青出上谷，骑将军公孙敖从代郡（治代县，今山西大同、河北蔚县一带），轻车将军公孙贺从云中（今内蒙古托克托东北），骁骑将军李广从雁门出兵。四路将领各率一万骑兵。
卫青首次出征，果敢冷静，深入险境，直捣匈奴祭天圣地龙城，首虏700人，取得胜利。另外三路，两路失败，一路无功而还。汉武帝看到只有卫青胜利凯旋，封卫青为关内侯。龙城之战是自汉初以来对战匈奴的首次胜利，为以后汉朝的进一步反击打下了良好的人心基础。
公元前129年，匈奴叩边，上万骑兵南下侵扰上谷。汉武帝任命卫青为车骑将军，率一万骑兵，出上谷迎击匈奴；又派出将军公孙敖从代郡，将军公孙贺从云中，李广从雁门出兵。
卫青首次出征，果敢冷静，大义凛然，一直深入匈奴圣地龙城，俘虏千人。而同时出兵的另外三路，有两路失败，一路无功而返，单独获胜凯旋的卫青被封为关内侯。龙城之战尽管国模不大，但是汉初以来对匈奴作战的首次胜利，为其后汉朝的进一步反击鼓舞了人心士气，作用不可低估。
公元前128年，车骑将军卫青再次出击，率领三万骑兵出雁门，杀向匈奴营地，斩首俘虏数千人，获得大捷。
公元前127年，匈奴再次大举进军袭扰上谷、渔阳，杀死辽西太守，打败渔阳守将，劫掠百姓数千人以及大量的财货牲畜。汉武帝派卫青率大军进攻匈奴盘踞的河套地区。卫青采用了“迂回侧击”战术，先是主力绕到匈奴军的西部后方，迅速攻占高阙，切断了驻守河套的匈奴白羊王、楼烦王等部同王庭的联系。而后又亲率精骑南下，到达陇县以西地区，形成了对白羊王、楼烦王的包围之势。
大战尽管惨烈，最终还是以汉军获胜结局，此战汉军再次俘虏匈奴兵数千人，夺取牲畜数百万头，终于收复了河套地区。
因为河套地区水草肥美，物产茂盛，又加上地理位置重要，西汉朝廷修筑了朔方城，又从内地迁徙十万人到此地定居，还修复了沿河的防御工事，加强军事建设，派重兵防守，暂时解除了匈奴骑兵对都城长安的直接威胁。
此战之后，卫青晋封长平侯，部下也多有封赏，可谓皆大欢喜。