嘀咕：“刘琨在北方势力这么大，又联合了鲜卑人，要是他在北方自立为王，怎么办？”于是，朝廷不仅不给刘琨支援，还处处提防他，甚至有大臣进谗言，说刘琨“据险自固，有不臣之心”。
刘琨多次上表东晋朝廷，请求援军和粮草，可每次得到的回复都是“朝廷初立，财力匮乏，望公自勉”——说白了就是让他自己想办法。刘琨心里清楚，东晋朝廷根本不想让他在北方壮大，只想让他当个“挡箭牌”，挡住胡人的南下，好让他们在南方安心享乐。可就算这样，刘琨也没放弃，他还是在晋阳苦苦支撑，因为他知道，自己一退，北方的汉人就真的没希望了。
更倒霉的是，刘琨和段匹磾的关系也出了问题。段匹磾有个弟弟叫段末波，是个野心家，一直想夺取段部的首领之位。段末波被石勒收买了——石勒给了他很多金银财宝，让他在段匹磾面前说刘琨的坏话，破坏两人的联盟。段匹磾本来就有点多疑，听了弟弟的话，就开始怀疑刘琨。
建武元年（公元317年），石勒派大将石虎率军攻打段匹磾的根据地厌次，段匹磾率军抵抗，让刘琨派军支援。刘琨派部将韩据率军去帮段匹磾，可韩据在路上被石勒的另一部将孔苌打败，没能赶到厌次。段末波就趁机在段匹磾面前说：“你看，刘琨根本不想帮你，他是故意让韩据打败的，想借石勒的手消灭我们段部！”段匹磾听了，更怀疑刘琨了。
第二年（公元318年）正月，段匹磾以“商议军事”为由，把刘琨请到了厌次。刘琨一到厌次，就被段匹磾软禁了起来。段匹磾还拿出段末波伪造的书信，说刘琨和石勒暗中勾结，想吞并段部。刘琨知道自己这次凶多吉少，可他没抱怨，也没求饶。他在监狱里写了一首诗，叫《重赠卢谌》，送给自己的老朋友卢谌，诗里有两句特别有名：“何意百炼刚，化为绕指柔。”意思是说，我本来是个像钢铁一样坚强的人，可现在却落得这么个下场，心里的委屈和无奈，只能化作绕指的柔情。这两句诗，道尽了他一生的悲凉。
刘琨的部下知道他被软禁后，都很着急，部将焦嵩、韩据计划出兵攻打段匹磾，救出刘琨。可段末波早就料到了，他跟段匹磾说：“刘琨的部下要造反，咱们得先杀了刘琨，以绝后患！”段匹磾本来还在犹豫，可被段末波一撺掇，最终还是下了决心。
建武元年（公元318年）五月初八，段匹磾派人给刘琨送来了毒酒。刘琨接过毒酒，平静地说：“我自从赴晋阳以来，就没想过活着回去。能为国家而死，我无怨无悔。”说完，他端起毒酒，一饮而尽。刘琨死的时候，才四十八岁。他到死都没看到西晋复兴的那一天，也没看到胡人被赶出中原。
听到刘琨被杀的消息，晋阳的百姓都哭了。那些曾经跟着他守晋阳的流民，还有他招募的士兵，都自发地为他戴孝；连鲜卑部落里，也有不少人觉得段匹磾做得不对，说：“刘大人是个好人，不该死啊！”刘琨的部下焦嵩、韩据虽然想为他报仇，可因为段匹磾已经控制了局势，最终也没能成功，一部分人投奔了石勒，一部分人保护着刘琨的家人逃往南方。
刘琨的家人也没能幸免——他的父亲刘蕃、儿子刘遵，后来都被段匹磾杀死了，只有少数家人逃到了东晋，比如他的另一个儿子刘群，后来在东晋为官，传承了他的忠义。
《晋书》里说