天你杀进来，明天我打出去，王爷们为了抢权力，连晋惠帝都敢挟持——成都王司马颖就曾把惠帝抢到自己的封地邺城，还废了太子；河间王颙又把惠帝抢到长安，搞得皇帝跟个玩具似的。
刘琨就是在这时，开始了自己的军旅生涯。刚开始，他跟着赵王司马伦做事——司马伦是晋武帝的叔叔，后来干脆篡位称帝，刘琨还因为帮司马伦打仗有功，被封了侯。可司马伦的皇位坐了没几个月，齐王司马冏、成都王司马颖就联合起兵讨伐他，刘琨见司马伦大势已去，又转投了司马颖。后来司马颖和东海王司马越又反目，司马越派自己的弟弟司马腾出镇邺城，刘琨因为跟司马腾关系不错，就跟着司马腾去了河北。
在河北期间，刘琨第一次跟胡人有了交集。当时司马颖手下有个部将叫石超，是个猛将，率军攻打司马腾，司马腾打不过，就向北方的鲜卑段部求援。鲜卑段部是当时北方比较强的胡族部落，首领段务勿尘派儿子段匹磾（就是后来跟刘琨结盟又杀了他的那位）带兵来帮司马腾，刘琨就跟着这支联军一起作战，第一次见识到了胡族骑兵的厉害，也学会了怎么跟胡人打交道。
不过，八王之乱的最后赢家是东海王司马越，他在公元306年杀了河间王颙和成都王颖，掌控了西晋朝政。可这时候的西晋，早就被折腾得只剩一口气了——中原的兵力被耗光，老百姓流离失所，田地荒芜，而北方的胡族，早就盯着这块肥肉了。其中最厉害的，就是匈奴人刘渊。
刘渊是匈奴冒顿单于的后代，因为汉朝曾跟匈奴和亲，所以他的家族姓刘。刘渊早年在洛阳当人质，对西晋的虚实了如指掌，后来回到匈奴部落，被推举为大单于。八王之乱时，刘渊见西晋内乱，干脆在左国城（今山西离石）自立为“汉王”，后来又在永嘉二年（公元308年）称帝，国号“汉”，也就是后来的“前赵”。这刘渊可不是个善茬，他手下有大批能征善战的匈奴骑兵，还有汉人谋士给他出主意，没几年就把山西、河南的大片土地占领了。
永嘉五年（公元311年），刘渊的儿子刘聪派大将刘曜、石勒（后来建立后赵的羯族首领）率军攻打洛阳，这就是历史上的“永嘉之乱”。匈奴兵打进洛阳后，烧杀抢掠，把晋怀帝（当时晋惠帝已死，怀帝继位）给抓了，还杀了三万多老百姓，连西晋的宗庙都被烧了。洛阳一破，西晋朝廷是树倒猢狲散，大臣们要么往南逃（后来在南京建立了东晋），要么干脆投降胡人。北方的各州郡，太守、刺史们不是跑就是降，比如并州刺史刘乔，见匈奴兵来了，直接弃城逃跑；青州刺史苟曦，后来也投降了石勒。只有少数人还在坚守城池——刘琨，就是这少数人里最有名的一个。
那时候刘琨刚四十岁出头（公元311年，刘琨四十岁），之前跟着司马腾在河北打了几年仗，有些军事经验。他看着北方一天天沦陷，心里急得跟火烧似的，主动向当时还在长安的西晋朝廷（永嘉之乱后，大臣们在长安立了晋愍帝）请命：“让我去守晋阳吧！晋阳是并州的治所，是山西的门户，守住晋阳，就能挡住胡人南下！”
各位，您可别以为刘琨是一时冲动。并州（今山西一带）是刘琨的老家，他对这里的地理、人情都熟悉；而且晋阳地处汾河谷地，东有太行山，西有吕梁山，易守难攻，确实是抵御胡人的战略要地。可当时的朝廷早就