自身难保了，长安城里连粮食都快没了，哪有兵力和粮草支援他？朝廷见有人主动挑担子，赶紧答应，给了他个“并州刺史”的头衔，还封了个“振威将军”，让他自己带兵去晋阳。
刘琨这一去，简直是“光杆司令上战场”。《晋书·刘琨传》里写道：“琨募得千余人，转斗而前”——他就靠自己的名声，在河北招募了一千多个流民中的青壮年，组成了一支临时军队，一路往北走。那时候的北方，早就不是太平景象了，从河北到晋阳，一路上到处是逃难的百姓，还有抢劫的乱兵和小股胡族骑兵，有时候走一天都见不到一个活人，只能靠野果、草根充饥。
有一次，他们走到上党郡（今山西长治一带），遇到了一股匈奴骑兵，大概有几百人。刘琨的士兵大多是没经过训练的流民，刚看到匈奴骑兵一下子就慌了。刘琨却很镇定，他让士兵们列成方阵，自己亲自站在阵前，拿起弓箭，一箭就射倒了匈奴骑兵的首领。士兵们见主将这么勇敢，也来了劲，跟着刘琨一起冲锋，硬是把匈奴骑兵打跑了。这一战，虽然规模不大，却让刘琨的这支临时军队有了士气，也让沿途的流民知道了这个叫刘琨的将军。
好不容易走到晋阳城下，刘琨一看，心都凉了半截。晋阳早就被匈奴兵洗劫过好几次了，城墙塌了一半，城里的房子要么被烧了，要么塌了，街上到处是尸体，有的尸体都烂了，散发着恶臭，连条狗都见不到。《晋书》里用“府寺焚毁，僵尸蔽地，其有存者，饥羸无复人色”来形容当时的晋阳，意思是官府的房子全烧了，地上全是尸体，就算有活下来的人，也饿得没人样了。
换作一般人，看到这景象，早就打退堂鼓了：“这破城，守个屁啊！”可刘琨不是一般人。他站在塌了的城墙上，对跟着他来的一千多个士兵说：“各位兄弟，咱们来这儿，不是为了当官发财，是为了守住咱们汉人的土地。这城是破，可只要咱们在，这城就不能丢，我们汉人的精气就还在！”
说完，他第一个跳下马，拿起铁锹，开始修城墙。士兵们见主将都这么拼，也没人抱怨了，跟着一起干。白天，他们修城墙、清理尸体、掩埋骸骨——刘琨还专门让人举行了祭祀仪式，祭奠死去的百姓和士兵，安抚人心；晚上，他们还要防备胡人的偷袭，有时候胡人趁着夜色来骚扰，刘琨就带着士兵们打游击，有时候一晚上要打两三仗，连睡觉的时间都没有。
光有城墙还不行，得有人啊！晋阳城里的百姓早就跑光了，刘琨就派人出去，到周边的山区、乡下找逃难的流民，跟他们说：“晋阳现在在修城，有饭吃，有兵保护，希望大家能回来！”刚开始，流民们都不信——这乱世里，谁还敢相信当官的？有的流民甚至说：“之前的刺史跑了，匈奴人杀了我们的家人，我们再也不回城了！”
可刘琨说到做到。他把自己带来的粮食拿出来，分给流民吃，哪怕自己和士兵们只能吃野菜、喝稀粥；他还让士兵们帮流民盖房子、开垦荒地，因为晋阳附近有汾水，他就组织人修水渠，引汾水灌溉农田；有流民生病了，他亲自去探望，让军医给看病抓药。有个老流民叫张老栓，带着一家五口逃到山里，快饿死了，被刘琨的人找到。刘琨亲自去看他，把自己身上的棉袄脱下来给张老栓披上，还让厨房煮了粥给他们喝。张老栓感动得哭了，说：“刘大人，您真是个好人！我