便收拢人畜、退守营垒；同时，他每日杀牛宰羊犒劳士兵，训练骑射，修筑烽火台。可这番举措，被赵王误认为“怯战”，将他召回邯郸，换以其他将领。新将上任后，屡屡主动出击，却屡战屡败，边境损失惨重。赵王无奈，只得再次请李牧出山。
李牧归任时，与赵王约法三章：“臣若再守雁门，仍需按旧法行事，赵王不得干预，否则臣不敢受命。”赵王应允。李牧重回雁门后，依旧闭门不战，却暗中积蓄力量——数年之间，他训练出一支精锐的骑兵部队，更打造了数千辆战车，还精选了十万名精通射术的士兵。公元前244年，匈奴大举入侵，李牧终于出兵：他先派少量士兵佯败，引诱匈奴主力深入，再以战车阵阻断匈奴退路，骑兵两翼包抄，弓弩手万箭齐发，竟一战斩杀匈奴十余万骑，灭襜褴、破东胡、降林胡，让匈奴“十余年不敢近赵边”。
雁门大捷后，李牧被调回中原，成为赵国抗秦最重要的将领。此时的秦国，已开启统一六国的序幕，韩、魏两国节节败退，赵国成了秦国东进的最大障碍。公元前234年，秦将桓齮率军攻赵，攻克平阳、武城，斩杀赵军十万，直逼邯郸。赵王急命李牧率军迎战，李牧在宜安（今河北石家庄东南）设伏，待秦军疲惫之际，突然发起猛攻，不仅击退秦军，更斩杀桓齮（一说桓齮逃奔燕国），史称“宜安大捷”。赵王大喜，封李牧为“武安君”——这是与秦国白起同等的荣誉，足见李牧在赵国的地位。
此后数年，李牧成了秦国的“噩梦”。公元前232年，秦军分两路攻赵，一路直逼邯郸，一路攻打番吾（今河北平山），李牧率军先破番吾秦军，再回师击退邯郸方向的秦军，再次保卫了赵国；公元前229年，秦国派名将王翦率军数十万攻赵，秦军兵分两路，一路由王翦率领攻井陉，一路由杨端和率领围邯郸，赵国危在旦夕。赵王再次任命李牧为大将军，与司马尚一同率军抵御秦军。
王翦深知李牧的军事才能，知道硬拼难以取胜，便向秦王嬴政建议：“李牧不死，赵国难灭。不如以重金收买郭开，让赵国自毁长城。”嬴政采纳了这一建议，派使者携带万斤黄金，秘密潜入邯郸，拜见郭开。
郭开见秦国使者送来的黄金堆积如山，心中早已没了“赵国安危”，只剩下贪婪。他收下黄金，当即承诺：“武安君虽勇，却也难逃吾之谋划。不出一月，李牧必亡。”
公元前229年冬，邯郸宫城的议事大殿内，赵王迁（赵悼襄王之子，公元前235年即位）端坐于王座之上，手中攥着一份郭开呈递的“密信”。郭开言道：“启禀大王，臣近日接到前线密报，李牧、司马尚与秦军私通，约定在井陉会战中倒戈，献赵国土地于秦国，以换取秦国封爵。此乃李牧与王翦往来的书信，请大王过目！”
这所谓的“书信”，实则是郭开与秦国使者伪造的。赵王迁本就是个昏庸无能之辈，登基后沉迷酒色，朝政全由郭开把持，对军事一无所知。他读完“书信”，吓得魂不附体：“李牧……他竟真的要反？”
“大王，此事千真万确！”郭开趁热打铁，又召来几个早已收买好的“证人”，他们纷纷作证，说曾看到李牧的部下与秦军使者接触，还听到李牧私下抱怨“赵王昏庸，不如降秦”。
赵国大夫韩仓（赵王迁的亲信）试图劝谏：“大王，李牧乃赵国