们不跑了，就跟着您守晋阳！”
就这么着，越来越多的流民回到了晋阳。没几个月，晋阳就从一座死城，变成了有几千人居住、能防守的城池。刘琨又在城里办学校，教孩子们读书——他自己就是个文人，写得一手好诗，有时候还亲自去学校讲课，跟孩子们说：“就算在乱世里，也不能忘了咱们汉人的文化，不能忘了读书识字。”他还组织百姓练兵，男人们农闲时当兵，练习射箭、骑马；女人们纺线织布，供应军队的衣服。各位看官，您别小看这事儿，在乱世里，能让百姓有饭吃、有学上，还能有安全感，这本身就是件了不起的事——刘琨守的不只是一座城，更是一种希望。
可麻烦很快就来了。匈奴刘聪听说刘琨驻守在晋阳，立马派大将刘曜、刘粲率军来打。刘曜是刘聪的堂兄，是个猛将，手下有两万多精锐骑兵；刘粲是刘聪的儿子，也很会打仗。而刘琨手里的兵，大多是刚招募的流民，没怎么打过仗，跟匈奴的精锐骑兵比，简直没法比。
永嘉六年（公元312年）正月，匈奴兵把晋阳围了个水泄不通，天天用箭射城墙，还用撞车撞城门。刘琨站在城墙上，亲自指挥防守，城门快被撞破了，他就让人用沙袋、木头堵住，还亲自拿着大刀砍爬上来的匈奴兵。士兵们见主将这么勇敢，也都拼了命，用石头砸、用开水浇，硬是把匈奴兵挡了回去。
可匈奴兵没走，就在城外扎营，想把晋阳困死。晋阳城里的粮食很快就不够了，士兵们只能吃野菜、树皮，有的士兵饿得连弓都拉不动了；冬天来了，很多士兵还没棉衣，冻得瑟瑟发抖。刘琨知道，再这么耗下去，晋阳肯定守不住，他得想个办法。
有一天晚上，刘琨在城楼上巡查，听到城外的匈奴兵在唱歌，唱的是匈奴的民歌，听起来很凄凉。刘琨突然有了主意——匈奴兵远离家乡，肯定思乡，不如用音乐打动他们。他让人找来一个会吹胡笳的士兵，让他在城楼上吹《胡笳十八拍》。这《胡笳十八拍》本来是匈奴人的曲子，讲的是远离家乡的思乡之情，胡笳的声音又悲又怨，在夜里传得很远。
匈奴兵在城外听着，想起了自己的家乡、亲人，心里都不是滋味，有的士兵甚至哭了起来。刘琨又让人在城里点起好多火把，假装要偷袭匈奴营寨，还让士兵们大喊：“晋军来了！晋军来了！”匈奴兵本来就没心思打仗，一看城里火光冲天，以为晋军真的要偷袭，吓得连夜撤退了。这就是历史上有名的“胡笳退敌”。
可刘琨心里清楚，光靠晋阳一座城，根本挡不住胡人。匈奴人这次退了，下次肯定还会来；而且除了匈奴，羯族石勒的势力也在壮大，石勒当时已经占领了河北大部分地区，对晋阳也是虎视眈眈。刘琨知道，他必须找帮手——北方的鲜卑部落。
当时北方有几个比较强的鲜卑部落：段部（在今河北东部）、拓跋部（在今内蒙古南部、山西北部）、慕容部（在今辽宁西部）。其中段部和拓跋部离晋阳比较近，而且和匈奴也有矛盾——匈奴人想吞并鲜卑的地盘，鲜卑人也苦于被匈奴侵扰。刘琨就先派人去联络拓跋部的首领拓跋猗卢。
拓跋猗卢是个很有野心的人，他想扩大自己的势力，也想得到西晋朝廷的认可。刘琨派人跟他说：“只要您帮我对抗匈奴，我就上表朝廷，封您为代公，还把雁门郡（今山西雁门关一带）的土地赐给您。