不少将领的反对。将领们认为，杨刘的后梁主力有十万余人，一旦绕过他们南下，很可能会被后梁军队前后夹击；而且从魏州到汴梁，路途遥远，需要穿过后梁的领土，一旦被后梁的侦察兵发现，奇袭就会失败。
但李存勖却坚持自己的计划，他对将领们说：“王彦章虽然勇猛，但他没有什么谋略，只要我们留下少量军队牵制他，他就会把全部精力放在杨刘，不会想到我们会奇袭汴梁。而且汴梁城内兵力空虚，只要我们速度够快，就一定能攻克！”
同年十月，李存勖留下大将李嗣源率领少量军队牵制王彦章，自己则率领三万精锐骑兵，从魏州出发，秘密南下。为了不被后梁的侦察兵发现，李存勖命令军队昼伏夜行，只在夜间行军，白天则隐藏在树林或山谷中休息。
经过艰苦行军，李存勖率领的军队终于抵达汴梁城外。此时的汴梁城内，后梁末帝朱友贞还不知道李存勖已经兵临城下，直到后唐军队开始攻城，他才惊慌失措地召集大臣商议对策。但此时汴梁城内兵力空虚，根本无法抵挡后唐军队的进攻，大臣们有的主张投降，有的主张逃跑，乱作一团。
朱友贞知道自己大势已去，又不愿被李存勖俘虏，便命令亲信皇甫麟将自己杀死。皇甫麟不忍下手，朱友贞说：“我身为后梁皇帝，不能落入敌人手中，你若不杀我，就是背叛我！”皇甫麟无奈，只好拔剑将朱友贞杀死，随后自己也自杀身亡。
朱友贞死后，汴梁城内的守军失去了抵抗的意志，纷纷打开城门投降。李存勖率领军队进入汴梁，后梁正式灭亡。当李存勖走到后梁皇宫的大殿时，他拿出那支代表消灭后梁的箭，对着天空说：“父王，儿子已经消灭后梁，完成了您的第一个遗愿！”
灭亡后梁后，李存勖率领军队北上，回师魏州。途中，王彦章率领的后梁主力得知汴梁已破、朱友贞已死的消息后，军心大乱，士兵们纷纷投降，王彦章虽然顽强抵抗，但最终还是被后唐军队俘虏。李存勖见到王彦章后，劝他投降，说：“你是一员猛将，若肯归顺我，我必重用你。”但王彦章宁死不降，说：“我身为后梁将领，不能背叛君主，你要杀便杀，不必多言！”李存勖见他忠义，将他处死后以大臣之礼安葬。
至此，后唐统一了北方的大部分地区，李存勖的事业达到了巅峰。他从晋阳的少年英雄，到继承父业的晋王，再到灭亡后梁、建立后唐的皇帝，用了十五年的时间，完成了父亲的两大遗愿，也成为了唐末五代年间最具传奇色彩的人物之。
灭亡后梁后，李存勖将都城从魏州迁到了洛阳，开始着手统一全国的计划。当时南方有多个割据政权，其中实力最强的是前蜀。前蜀的开国皇帝是王建，王建死后，他的儿子王衍继位。王衍是个昏庸无能的君主，他沉迷酒色，不理朝政，重用宦官和奸臣，导致前蜀政治腐败，百姓困苦，军队战斗力急剧下降。
李存勖认为消灭前蜀的时机已到，便在同光三年（925年）九月，任命郭崇韬为招讨使，李继岌为都监，率领六万大军南下讨伐前蜀。郭崇韬是后唐的开国功臣，他足智多谋，治军严明，深受李存勖的信任；李继岌是李存勖的儿子，当时只有二十岁，李存勖派他担任都监，一是为了让他积累军功，二是为了监视郭崇韬。
后唐军队南下后，进展十分顺利。前蜀的军队早已腐