令北府兵将领辅国将军刘牢之和卫将军谢琰兵讨伐孙恩。
东晋建都建康，故称设在建康之北的军府广陵（今江苏扬州）为北府。孝武帝太元年间，谢玄北镇广陵，当时前秦苻坚正盛，于是谢玄就招募徐、兖二州的劲勇骁猛之士组成了一支精兵，谢玄以刘牢之为参军，率领精锐为前锋，百战百胜，号称“北府兵”，敌人畏之如畏虎。此时，北府兵由刘牢之为统帅，为了剿灭孙恩，刘牢之再次招募骁勇之士。
就在讨伐孙恩的过程中，一个武力过人英勇善战的草莽英雄就此展露头角，他就是小名寄奴的三十七岁的刘裕。
刘裕的祖父刘靖曾担任过东安太守，父亲刘翘只任过郡功曹，到了刘裕的时候，家道中落，他只是粗知文字而已。因家境窘迫，他不得不靠打柴、卖鞋为生。他为人好樗蒲之赌，但输了又无钱兑现，因此颇受乡里轻贱。刘裕凭勇猛善战应选，后来担任刘牢之的参军。
刘牢之让他带着数十人去侦察敌情，结果遭遇孙恩部下数千人，双方激战，随从数十人都死了，而刘裕独自挥舞长刀左右砍杀，杀死杀伤甚众，后来援军到达，大破孙恩军，斩获千余人。在其后与孙恩军的交战中，刘裕常常披坚执锐，身先士卒，且每战皆能摧锋陷阵，有时战至酣时，他和部下都会脱去盔甲，与敌人短兵相接。
在其后的两年间，受到打击的孙恩重振旗鼓，先后杀死了卫将军谢琰和吴国内史袁山松。
到了隆安五年六月，孙恩率领十万将士进逼建康，一时京都震恐，居民荷担而立；其时刘牢之还在山阴（在今浙江绍兴），刘裕日夜兼程，与敌人同时到达建康。在与敌人的交战中，刘裕所领部队奋力拼杀，杀死杀伤敌人甚众。
后来孙恩知道刘牢之已回京都，就撤退了。
因屡立战功，朝廷任命刘裕为建武将军、下邳太守。这时候，出身寒微的武将刘裕总算有了一些地位了。
就在国家处于一片混乱的局面下，像其父桓温一样怀有不臣之心的荆州刺史桓玄早已蠢蠢欲动了，他不把朝廷放在眼里，私自安插亲属亲信把持国家要津，执政的司马元显不能忍受了。
皇帝是白痴，谁执政谁就可以下诏。孙恩刚刚退走，元兴元年（公元4o2年）正月司马元显就在心腹张法顺的怂恿下，下诏宣布讨伐桓玄：他自任元帅，以刘牢之为前锋。
但刘牢之心中怀2，他担心杀了桓玄，将来元显难以对付，于是在军中就派其子刘敬宣去桓玄处媾和，这样，桓玄没有费什么力气就进入了建康，然后杀了司马元显和张法顺等人，废黜司马道子，不久又毒死了他。
这回轮到桓玄下诏了。桓玄称诏，自任都督中外诸军事、丞相、录尚书事、扬州牧，兼领徐、荆、江三州刺史，假黄钺；以兄桓伟为荆州刺史，堂兄桓谦为尚书左仆射，桓修为徐、兖二州刺史，侄子桓石生为江州刺史，亲信谋主、长史卞范之为丹杨尹；随即又解了刘牢之的军权，只任命他为会稽内史。
不久前自己还是控制着京口以及江北地区的举足轻重的北府兵大将，一下子就被剥得几乎两手空空，刘牢之被逼得走投无路了，就想举兵反，但又无人响应，于是自缢而死，其子刘敬宣逃奔广陵。刘牢之的部将共同殡殓了他，然后护其丧归