印”，并赏赐黄金百斤。李广彼时年轻，未曾多想，便谢过梁王，接受了印信与赏赐。
然而，这一行为却埋下了祸根。汉朝自高祖以来，便严禁诸侯王私自授予朝廷官员官职、印信，以防诸侯王拉拢人心、培植势力。景帝本就对梁王心存忌惮，听闻梁王私自授予李广将军印，心中大为不满。待叛乱平定后，朝廷论功行赏，周亚夫等将领皆获封赏，唯独李广因“受梁王印”，被景帝认定为“结交诸侯”，竟未得到任何爵位与赏赐。
李广得知消息后，虽心中失落，却并未过多抱怨——他深知自己身为朝廷将领，却接受诸侯王印信，确有不妥。此后，他主动向景帝请命，要求前往边郡任职，愿以守边之功弥补过错。景帝见他态度诚恳，便应允了他的请求，任命他为“上谷太守”，前往上谷郡（今河北张家口一带）抵御匈奴。
上谷郡地处汉匈边境的“咽喉之地”，匈奴骑兵时常来犯，是汉朝最凶险的边郡之一。李广到任后，并未因之前的失意而懈怠，反而将全部精力投入到边防建设之中。他首先整顿军纪，加强士兵的骑射训练，每日亲自督导，甚至与士兵一同演练；其次，他完善了边境的烽燧制度，在边境线上每隔数十里便设立一座烽燧台，派士兵日夜值守，一旦发现匈奴骑兵，便以烽火为号，传递军情；此外，他还时常率领骑兵出塞巡逻，侦查匈奴动向，熟悉边境地形。
在与匈奴的交锋中，李广充分发挥了自己“善骑射”“善突袭”的特点。匈奴骑兵多以“游击战术”为主，来时迅猛，去时迅捷，汉军往往难以捉摸其行踪。李广却摸索出一套应对之法：他挑选了数百名精锐骑兵，组成“快速反应部队”，一旦烽燧台传来警报，便立即率部出击，凭借对地形的熟悉，绕至匈奴骑兵后方，发动突袭。匈奴骑兵往往只顾劫掠，不备后路，常被李广部杀得措手不及。
一次，匈奴派遣数千骑兵入侵上谷郡，劫掠了两个村落，正欲满载而归时，李广率三百骑兵赶到。匈奴骑兵见汉军人数较少，便摆开阵势，准备迎战。李广手下的骑士皆面露惧色，劝李广暂且撤退，等待大军增援。李广却说道：“我等若退，匈奴必追，届时我等无险可守，必败无疑；若趁其立足未稳，主动出击，或可破敌。”说罢，他令骑兵分为两队，一队从左侧迂回，一队从右侧包抄，自己则率数十骑直冲匈奴阵前。
匈奴阵中一名将领见状，拍马出列，欲射杀李广。李广不等他搭箭，便抢先射出一箭，正中其面门。匈奴骑兵大惊，阵脚稍乱。此时，左右两队汉军骑兵已包抄到位，齐声呐喊，发起冲锋。匈奴骑兵误以为汉军主力已到，心生恐慌，纷纷调转马头逃窜。李广率部追击数十里，斩杀匈奴兵卒百余人，夺回了被劫掠的人畜与财物。
此役过后，李广在匈奴人中的名声渐起，匈奴人皆称他为“飞将军”——言其骑兵速度快如飞，且箭术精准，令人防不胜防。此后，李广又先后调任上郡、陇西、北地、雁门、代郡、云中等边郡太守，无论到哪个郡，他都坚持从严治军，积极防御，匈奴骑兵只要听闻李广在任，便极少再进犯该郡。
在守边的十余年间，李广还留下了许多脍炙人口的故事，其中最着名的便是“射石没镞”。那日，李广率部在右北平郡（今河北承德一带）出塞巡逻，行至一处山谷时，天色已晚，暮色中，他忽见前方