耶律休哥率领的契丹大军渐渐逼近。曹彬见没法说服将领们，只能下令再次进军涿州。可那时的宋军已经疲惫不堪，粮草又不够，行军速度很慢。耶律休哥抓住这个机会，率领大军在岐沟关（今河北涿州西南）设下埋伏，等着宋军到来。
宋军抵达岐沟关后，果然陷入了契丹军队的埋伏。契丹军队从四面杀出来，宋军一下子就乱了。曹彬虽然奋力指挥抵抗，却终究没法挽回败局。宋军士兵死伤无数，粮草、兵器损失殆尽，曹彬只能率领残部突围，撤退到易州（今河北易县）。岐沟关之战，宋军东路军主力几乎全军覆没，雍熙北伐的战局也因此急转直下。
西路军和中路军知道东路军战败的消息后，也纷纷撤退。西路军撤退时，副将杨业因为孤军奋战、寡不敌众，被俘后绝食而死，成了千古遗憾。至此，雍熙北伐以宋军彻底失败告终。
北伐失败后，曹彬回到开封，立刻向太宗请罪。他跪在朝堂上痛哭着说：“臣无能，违背陛下旨意贸然进军，导致大军战败、损失惨重，臣愿意承担所有罪责，恳请陛下治罪。”太宗见曹彬痛哭流涕，心里虽有不满，却也知道这次失败不全是曹彬的错——将领们急于求成、粮草供应不足，都是重要原因。于是他叹了口气说：“朕知道你不是故意的，这次失败，朕也有责任。你先回家休息，以后有机会再为国家效力。”之后，太宗把曹彬的枢密使职位削去，贬为右骁卫上将军。
被贬后的曹彬没有消沉，依旧牵挂着国事。他每天在家研读兵法，关注边境局势，还时常向太宗上书，提出自己对边防的建议。太宗见曹彬虽然遭了贬谪，却依旧忠心耿耿，心里很感动。宋端拱元年（公元988年），太宗恢复了曹彬的枢密使职位，让他再次掌管全国军事。
那时曹彬已经年过花甲，身体越来越衰弱，却依旧坚持处理政务。他知道自己肩负重任，不敢有丝毫懈怠。宋至道三年（公元997年），宋真宗即位，对曹彬更加敬重，还特意加授他为同平章事，让他享受宰相的待遇。宋咸平二年（公元999年），曹彬病重，真宗亲自到他府上探望，握着他的手问他还有什么心愿。曹彬虚弱地说：“臣没什么别的心愿，只盼陛下能善待百姓，守住大宋的江山。”不久后，曹彬病逝，享年六十九岁。
曹彬去世后，真宗追赠他为中书令，谥号“武惠”，还让他配享太祖庙庭——这份荣誉，在北宋初年的将领中极为罕见。纵观曹彬一生，他平定后蜀、消灭南唐，为北宋统一立下汗马功劳；即便北伐失利，也能以忠心自守、不怨不馁。更难得的是，他一生治军仁厚，从不滥杀无辜，哪怕身居高位，也始终保持着谦逊谨慎的品行。正如《宋史》所评，他不仅是“开国第一良将”，更是一位用德行照亮青史的君子。这样的人物，即便过了千年，依旧值得后人铭记。