“亡我祁连山，使我六畜不蕃息；失我焉支山，失我嫁妇无颜色。”这是霍去病的屠刀带给匈奴人的痛苦呻吟。
赵信投降后，为匈奴单于分析了汉匈之间的实力对比，他告诉单于说，汉地广大，人口众多，社会富庶，而匈奴则恰恰相反，与之争胜，是不可能有好结果的。此前伊稚斜单于一直奉行与汉朝硬碰硬的战争策略，结果战场上屡屡失败，付出了惨重代价。赵信的话可谓是一语惊醒梦中人，所以此后匈奴的对汉策略是回复到以前那种来去如风的抢掠，一击不中立马退回大漠深处，不与汉军纠缠。当时，为了避免汉军的远袭，匈奴人向北逃的更远了。
元狩四年（公元前119年），匈奴人入右北平、定襄，杀掠数千人后远遁大漠。武帝决定报复匈奴人，给他们一次致命打击，遂令卫青、霍去病各领五万骑兵远征匈奴。不光如此，还从民间私募了战马近四万匹，而负责接应的步兵和为军队转运粮饷的人加起来竟达数十万。这是武帝发动对匈战争以来的最大手笔。不过武帝显然更看好霍去病，因为配给霍去病的骑兵都是“敢力战深入之士”，想来其装备也要优于卫青部。
但是卫青的威望是多年累积下来的，所以李广、公孙贺等战功卓著的骁将还是归在他的旗下。卫青部出定襄，远走千余里后与伊稚斜亲统部队相遇于黄沙之中，两军列阵相持。当天傍晚，大风毫无征兆地猛刮起来，一时间黄沙漫天，伸手不见五指，匈奴人阵脚大乱。卫青则分出两股部队从左右包抄单于，匈奴大败，单于在数百匈奴勇士的护佑下从西北角遁逃。卫青发轻骑急追，整整一夜衔尾不放，但终无所得。是役也，汉军向北追杀至阗颜山赵信城而还，共斩杀匈奴共一万九千余人。
而在此过程中，李广因为没有向导，在半途迷路，所以当他来到战场的时候，大将军与匈奴单于的战斗早结束了。卫青欲上书向武帝陈明原因，李广却来个一言不发，当长史逼李广去军募府自述之时，李广自杀，“不复对刀笔吏”。一代名将就此身死。李广的儿子认为是卫青逼死了父亲。
上次出击匈奴的时候，苏建部全军覆没，按律当诛，不过卫青并没有杀他，而是将他带回长安，请求武帝亲自发落，最后武帝饶苏建不死，但令他“赎为庶人”。从卫青一贯的与人为善来看，他未必有意逼死李广。
而霍去病的五万大军在沙漠里纵横驰奔，终于在两千里外与匈奴左贤王相遇。霍去病凭着卓越的指挥能力和果敢的进取精神，将匈奴人杀得大败，获王级以上的共有三人，其余将军、国相等共八十三人，得首虏七万零四百四十三级，更在狼居胥山封禅而还，这是史无前例的大胜利。此后，匈奴彻底被打散了，再也无法凝聚成有效的力量与汉朝对峙抗衡了。武帝加给霍去病五千八百户食邑，以嘉奖他的盖世功劳。
可是此次出征，汉人也是损失惨重。出征时共有战马十四万匹，可回来的时候却不足三万；汉人杀匈奴人共九万人还多，可是汉家子弟也死伤数万。战争从来就不是只看谁的血多血少，而是谁能坚持到最后罢了。匈奴人没坚持下来，先败了。
此前的历次对匈战争加起来，汉人共杀匈奴十八万人，其中一大半都是后起之秀霍去病斩杀的。所以武帝日益亲厚霍去病，让他与卫青同领大司马衔。此前的卫青是“一枝独秀”的，所以霍去病的升，也就是卫青的降。对待这些浮云般的名利，卫青一向不在乎，所以他的故交、门客离开他而投奔霍去病，他也只是笑笑而已。
之前说李广的儿子李敢认为卫青逼死了父亲，所以曾暗中偷袭卫青，不过卫青只是受了轻伤，他能体会李敢的心情，没有将事情上报，也没把这事放在心上。霍去病就不同了，有一次霍去病和李敢一起陪同武帝打猎，霍去病在背后放冷箭，将李敢射杀。武帝偏袒，为霍去病隐瞒了事实，只对外宣称李敢是被鹿给撞死的。
霍去病能取得如此骄人的战绩，并不能因此认为卫青的军事才华不如他。其实，这完全是两个人不同的性格所致。卫青宽厚仁慈，爱惜士卒，所以在他看来，孤军深入这样的冒险行为并非总是可取的，他只有在很有把握的时候才会出击。霍去病虽然出身贫贱，但是一直过的都是贵公子的生活，这让他与下层出身的士兵难免有隔阂，其表现为，当他归来的时候，辎重车里的酒肉都已腐臭了，可是却不断有士兵饥饿而死。与卫青相比，年轻的霍去病不懂得什么是“悲天”，什么是“悯人”。
也许是杀伐过盛，遭了天谴，年纪轻轻的霍去病忽然得了暴疾而死，那一年他只有二十四岁。霍去病死后，武帝非常伤心，将他的墓修成祁连山的模样，以表彰他的战绩。霍去病的墓，就修在武帝墓的一旁，可见武帝对他的爱惜。
经过卫青、霍去病的连连打击，匈奴人的日子可谓江河日下，他们不断地向北迁徙，躲避汉人的追击，自此以后，匈奴人再也不能像以前那样对汉朝造成威胁了。