马邑伏击战之后，汉匈关系进一步恶化。匈奴从上谷入侵，烧杀抢掠，边境官民死伤惨重。在军事上、经济上都已有所准备的汉武帝正式开始了大规范反击匈奴的战争。卫青也由此迎来人生的一个崭新阶段。
他第一次领兵作战参与了关市之战。元光五年(前130年，一说为元光六年，前129年)，汉武帝分兵四路出击关市附近的匈奴军。卫青被任命为车骑将军，委以重任，从上谷(郡治在今北京延庆西南)出击匈奴军。
另外三路：太仆公孙贺为轻车将军，出云中;大中大夫公孙敖为车骑将军，出代郡;卫尉李广为骁骑将军，出雁门(郡治在今山西左云西)。这四路将军每人各自率领1万骑兵。然而他们进兵作战战果却大相径庭。这次战役，卫青没有辜负汉武帝的信任，从上谷出发，一路追击匈奴兵至茏城(也写作“龙城”。匈奴祭祀天地祖宗之处，在今内蒙古正镶白旗附近)，斩杀敌人700余人，得胜而还。其他三路，李广是秦代名将李信之后，有与匈奴多次作战的经验。
他自负才气，从雁门出发后，领军急进，遭遇匈奴主力部队，汉军几乎全军覆没，他本人也被俘虏，后来逃归。公孙敖从代郡出发，被匈奴兵大败，损失了七千多人马。
公孙贺从云中出击，没有战功而退军。(《史记·卫将军骠骑列传》)在此次战役的四位将军中，只有卫青是第一次领军与匈奴作战。卫青虽是小胜，然而对比其他将领的惨败或者无功而返的战绩，他的战功显然最大。不仅如此，卫青第一次出兵远征即攻占并烧毁了匈奴的龙城，意义非凡。根据匈奴礼俗制度，龙城是匈奴历来祭祀天地、鬼神和先祖的圣地，也是维系匈奴人信仰的所在。(《史记·匈奴列传》，《汉书·武帝纪》颜师古注引应劭)卫青烧掉龙城，等于捣毁了敌人的精神和信念。在军事上，匈奴不可战胜的神话从此被破除了，极大鼓舞了汉军的士气。卫青在关市之战后被封为关内侯。
元朔元年(前128年)，卫青受命领军3万出雁门，斩杀匈奴数千人。西汉取得了军事反击匈奴以来的第一次大规模胜利。雁门之战胜利之后，卫青逐渐成为抗击匈奴的主将。
这些战争的胜利，并没有遏制匈奴的入侵。元朔二年(前127年)，匈奴侵入上谷、渔阳(郡治在今北京密云西南)，杀害辽西太守，杀掠吏民2千多人，并打败了韩安国将军的部队。汉武帝命令李息率军从代郡出发，讨伐匈奴。卫青受命从云中郡向西直奔高阙(今内蒙古乌拉特后旗东南)。随后，卫青沿黄河西下陇西，俘获敌军几千人，牲畜几十万头。匈奴白羊王、楼烦王战败逃走。
此战收复了自秦亡沦陷于匈奴70多年的河南地(今内蒙古河套一带)。西汉在河南地设置朔方郡，并募移民10万人充实朔方，建立了稳固的西北边防体系。河南地的收复基本解除了匈奴对西汉都城长安的威胁。收复河南地之战，甚至可以看作“汉武帝向匈奴发动一系列战略进攻的奠基之战”，“使汉军有了一个可东可西，出击匈奴的重要基地”(颜吾芟著《中国秦汉军事史》)。卫青因收复河南地之战而被封长平侯，食邑三千八百户。
收复河南地之战后，匈奴人并不甘心失败。从元朔三年(前126年)起，匈奴军大规模入侵代郡、定襄(郡治在今内蒙古和林格尔西北)、上郡(郡治在今陕西榆林南)，杀害虏去汉朝几千人。元朔五年(前124年)，卫青被任命为车骑将军率领骑兵3万人，从高阙出发。同时出发的还有：游击将军苏建，强弩将军李沮，骑将军公孙贺，轻车将军李蔡，他们都由卫青统一指挥，从朔方出发。卫青率大军出塞六七百里，趁夜突袭包围了右贤王部，大获全胜，斩获辉煌。这次战役后，汉武帝派使者正式授予卫青大将军印信，各路将领及部队都统一归属大将军指挥。由此，卫青逐渐成为西汉军队的最高领导者。
