公元前119年），汉武帝为彻底击溃匈奴主力，发动了规模空前的“漠北之战”——任命卫青为大将军，霍去病为骠骑将军，各率五万铁骑，分东西两路出击，深入漠北，寻找匈奴单于主力决战。
此时的李广，已年过六十，头发花白，却依旧壮心不已。自马邑之谋后，他又先后参与了多次对匈作战，却始终未能立下足以封侯的战功（汉朝军功制度以“斩杀匈奴首级数量”“俘虏匈奴贵族”“大破匈奴部队”为主要标准，李广虽多次作战，却常因兵力不足、遭遇匈奴主力等原因，未能达到封侯标准）。此次漠北之战，是汉朝对匈奴的决战，李广深知这可能是自己最后的机会，便多次向武帝上书，请求随军出征。
武帝起初并未应允，认为李广年老，且“数奇”（古代认为“数奇”者运气不佳，李广此前多次作战不顺，武帝便有此顾虑），恐难担大任。但李广心意已决，接连上书，言辞恳切，甚至亲自前往宫门请愿。武帝见他态度坚决，又念及他一生守边有功，便最终应允，任命他为“前将军”，归属卫青麾下，随东路军出征。
大军出塞前，卫青从俘虏口中得知了匈奴单于的驻地，便决定亲自率领精锐部队，从正面追击单于，而命李广与右将军赵食其率领部队，从东路出发，迂回到匈奴单于的后方，与自己形成夹击之势。
李广得知这一部署后，当即找到卫青，恳切地说道：“臣结发与匈奴战，今乃一得当单于，愿居前，先死单于！”意思是，自己从年轻时便与匈奴作战，如今终于有机会正面迎战单于，愿担任先锋，与单于决一死战。
然而，卫青却拒绝了李广的请求。其中原因有二：一是武帝在大军出发前，曾私下叮嘱卫青，称李广“数奇”，不宜担任先锋，恐误大事；二是卫青想让自己的好友公孙敖担任先锋——公孙敖此前因作战失利被削爵，卫青想让他在此次战役中立功，恢复爵位。
李广听闻卫青的决定后，心中极为不满，却又不敢违抗将令，只得悻悻而归。他回到营中，并未向赵食其详细说明路，便率部出发。
东路军所经之地，多为沙漠戈壁，地形复杂，水源稀少，且缺乏向导（此前负责引路的匈奴俘虏逃脱）。李广率部在沙漠中行军数日，却始终未能找到正确的路线，反而在沙漠中迷失了方向，行军速度大大减慢。
与此同时，卫青率领的西路军已与匈奴单于主力展开激战。匈奴单于见汉军势大，便率精锐部队突围而逃，卫青率军追击数百里，虽斩杀匈奴兵卒万余人，却未能擒获单于，只得撤兵。
待卫青撤兵途中，与李广、赵食其的东路军会合时，已是数日后。此时，匈奴单于早已逃之夭夭，漠北之战的“夹击计划”彻底落空。
卫青得知东路军迷路的消息后，便派长史（军中负责文书、监察的官员）前往李广营中，询问迷路的缘由，并要求李广提交“军状”（详细说明行军情况的文书），以便向武帝汇报。
长史来到李广营中，态度颇为傲慢，反复追问迷路的责任。李广见此情景，心中积压的不满、遗憾、委屈瞬间爆发。他对长史说道：“诸校尉无罪，乃我自失道。吾今自上簿。”随后，他召集手下的将领，感慨地说道：“广结发与匈奴大小七十余战，今幸从大将军出接单于兵，而大将军徙广部行回远，而又迷失道，岂非天哉