孙恩因战败而投水死，众人推其妹夫卢循为主早在东征卢循的时候，刘牢之的外甥何无忌就劝刘裕在会稽起兵征讨桓玄，但刘裕认为桓玄还没有登极位，讨伐他就名不正言不顺，并且会稽遥远，难以成就大事。现在桓玄既然如此，刘裕觉得机会成熟了，于是就和原北府兵的一些官兵何无忌、诸葛长民、刘毅、孟昶、檀道济等密谋准备在京口、广陵、历阳等处同时起兵讨伐桓玄，众人共推刘裕为盟主。
元兴三年二月二十七日，刘裕假托狩猎，与何无忌在京口（在今江苏镇江）聚集了一百多人准备起事。次日晨，京口城门开，何无忌穿着传诏服，扮成传诏使者，走在前面，其他人随着他一拥而入，齐声大叫着冲进官府，斩了桓玄的堂弟徐、兖二州刺史安成王桓修。随后在何无忌的推荐下，刘裕延请有治国才干且赋闲在家的刘穆之为主簿，共参大事。
与此同时，孟昶在广陵（青州刺史治所，在今江苏扬州）也劝桓修弟青州刺史桓弘外出打猎，天未亮，打开城门让参与狩猎者出城，孟昶与刘毅、刘裕弟刘道规等率数十名壮士直冲桓弘住处，把正在吃粥的桓弘斩了，随即率领众人渡江。
诸葛长民在历阳（豫州刺史治所，时称“西府”，是建康的西大门。在今安徽和县）因故失期，不能得手，反而被豫州刺史刁逵抓获，刁逵用槛车把他送给了桓玄。
桓玄得知刘裕等起兵且布檄文，惊惧之下杀了原准备在京都作义军内应的王元德等人，同时派遣自己的骁将顿丘太守吴甫之、右卫将军皇甫敷前往京口迎击刘裕率领的一千余人。
三月初一，义军在江乘（在今江苏句容北）与吴甫之相遇，刘裕手持长刀大呼砍杀，当即斩了吴甫之；随后义军又遭遇皇甫敷，同样临阵斩了他。桓玄得知损了两员战将，大惊，急忙派遣桓谦、卞范之等率两万将士去覆舟山（在今南京太平门西侧）以抵抗刘裕的义军。
初二，义军食毕丢掉余粮，挺进覆舟山东侧，派老弱登山多设旗帜作疑兵。桓谦的士兵多是过去的北府兵，他们一向畏服刘裕，如今见如此形势，都没有了斗志。刘裕身先士卒，与将士们殊死作战，无不以一当百，呐喊之声惊动京都，桓谦军大败。
桓玄事先就在石头城（故址在今南京市清凉山）下备好船只准备随时逃走，现在见如此败势，就以赴战为名带着他的亲属和数千亲信，出南掖门后西奔石头城，然后下大江向西逃去，义军乘胜追击。石头城背山面江，其时江流紧迫山麓，城南临秦淮河口，地处交通要冲，是京都建康的军事重镇。
初三，刘裕镇守石头城，立留台百官。古称皇家禁城为台城，此时安帝已经被桓玄流放到寻阳，义军就在建康设立临时机构和百官。众人推举刘裕为使持节、都督扬州徐州等八州诸军事、领军将军、徐州刺史；随后义军又任命刘毅为青州刺史，何无忌为琅邪内史，孟昶为丹杨尹，刘道规为义昌太守。
初十，刘裕回镇东府（宰相及扬州刺史的府第，在今南京通济门附近，临秦淮河）。
既掌控京都，刘裕就把朝政要务都交给刘穆之处理，事无大小，也都向他咨询；为重振纲纪，刘裕以身作则，内外百官肃然奉职，不过十日，拨乱反正：原先的混乱局面一时顿改。
桓玄逃到寻阳