帝的消息后，悲愤交加，发誓要消灭后梁，恢复唐朝正统。可此时的李克用已身患重病，身体日渐衰弱，根本无力率军出征。他看着自己的儿子李存勖，心中既有期待，又有担忧——期待他能完成自己的遗愿，担忧他太过年轻，难以应对复杂的局势。
唐天佑五年（908年）正月，李克用的病情急剧恶化，他知道自己时日无多，便把李存勖叫到床边，亲手交给了他三支箭，说：“我一生有三个仇人，第一个是朱温，他篡唐称帝；第二个是刘守光，他占据幽州（今北京），背叛我，投靠朱温；第三个是耶律阿保机，他曾与我结盟，却在我最困难的时候背叛我，与朱温勾结。这三支箭，代表我对你的三个嘱托：第一，消灭后梁，为唐朝报仇；第二，攻克幽州，擒杀刘守光；第三，击败契丹，报耶律阿保机的背叛之仇。你若能完成这三件事，我死也瞑目了！”
李存勖接过三支箭，跪在父亲床前，泪流满面地说：“父王放心，儿臣定不辱使命，必灭梁、破燕、败契丹，以告慰父亲在天之灵！”
几天后，李克用去世，李存勖继承晋王爵位，成为河东的新首领。此时的河东，内有将领不服、人心浮动，外有后梁大军压境、蠢蠢欲动，局势十分危急。朱温得知李克用去世的消息后，认为李存勖年轻可欺，便派大将李思安率领十万大军，进攻河东的军事重镇潞州（今山西长治）。
面对如此严峻的局势，李存勖展现出了远超同龄人的冷静与果断。他首先稳定内部：对于那些不服自己的将领，他恩威并施——对有能力但有疑虑的将领，他亲自登门拜访，坦诚相待，打消他们的顾虑；对暗中勾结后梁、图谋不轨的将领，他毫不留情，当众处死，以儆效尤。很快，河东的内部局势稳定下来，将领们都表示愿意听从李存勖的指挥。
稳定内部后，李存勖亲自率军救援潞州。当时李思安的大军已经把潞州团团围住，日夜攻城，潞州守将李嗣昭虽然顽强抵抗，但城中粮草已快耗尽，形势十分危急。李存勖知道，不能与后梁大军正面硬拼，必须用奇袭的方式打破包围。他率领大军，避开后梁的侦察兵，沿着太行山的小路，昼伏夜行，悄悄逼近潞州。
到达潞州附近后，李存勖并没有立刻发动进攻，而是先派人潜入潞州城，与李嗣昭取得联系，约定在元宵节当晚内外夹击。元宵节当晚，后梁军队以为李存勖不会来救援，都在军营里饮酒作乐，庆祝节日，防备十分松懈。深夜时分，李存勖率领大军突然发起进攻，李嗣昭也率领城中守军杀出。后梁军队毫无防备，顿时大乱，士兵们争相逃跑，互相踩踏，死伤无数。李思安见大势已去，只好带着残部狼狈逃窜。
潞州之战的胜利，不仅解了潞州之围，还大大提振了河东军队的士气，更让李存勖在整个北方藩镇中树立了威信。朱温得知李思安大败的消息后，不禁感叹道：“生子当如李亚子，我的儿子们跟他比起来，简直就是猪狗！”
潞州之战后，朱温多次派大军进攻河东，但都被李存勖击退。唐天佑八年（911年），幽州节度使刘守光在幽州称帝，国号“大燕”，史称“桀燕”。刘守光此人残暴不仁，不仅背叛李克用，还囚禁自己的父亲和兄长，在幽州实行暴政，百姓们苦不堪言。李存勖认为消灭刘守光的时机已到，便决定先出兵讨伐刘守光，完成父亲的第二个遗愿。<