老旧，士卒训练松懈。若以轻舟突袭其粮道，再以大军正面夹击，必能破之。”
孙策闻言，侧目看向吕蒙，笑道：“你小小年纪，竟也懂些兵法？”吕蒙躬身道：“皆是平日听主公与周将军议事，略窥一二，若有妄言，还望主公恕罪。”孙策却不责怪，反而赞道：“你能举一反三，实属难得。日后若有战事，可随我出征，再立功劳。”
建安五年（200年），孙策遇刺身亡，其弟孙权继位。孙权年少，诸将多有疑虑，吕蒙却率先上表效忠，言称“愿随新主，共保江东”。孙权见吕蒙忠诚，又念及其勇名，便让他统领原属邓当的部曲。
孙权继位后，为整合军力，打算将军中兵力较少、威望不足的小将部曲合并，吕蒙的部曲也在其中。得知消息后，吕蒙心中焦急——他深知，部曲是将领的根基，一旦被合并，自己便再难有出头之日。左右劝他：“主公之意已决，将军不如顺从，免得触怒主公。”吕蒙却摇头：“若不设法保全，日后何以建功？”
他暗中筹谋，先是赊贷钱财，为麾下士卒赶制绛色军服与绑腿，又每日亲自督练士卒，从队列、阵法到武艺，无一不教。训练场上，士卒们噔噔的脚步声整齐划一，绛色军服在阳光下格外醒目，吕蒙手持长枪，亲自示范刺杀动作，汗水浸透衣衫也不顾。
几日后，孙权亲自检阅各部，当行至吕蒙部曲前，只见士卒们阵列整齐，精神抖擞，军服鲜亮，与其他部曲的散乱形成鲜明对比。孙权不禁驻足，令吕蒙下令演练阵法，士卒们进退有序，动作娴熟，全无往日的松散之态。孙权大喜，走上前抚着吕蒙的肩膀道：“子明，你竟将部曲训练得如此之好！孤先前竟不知你有这般才能。”当即下令，不再合并吕蒙的部曲，反而增拨了两百名士卒归他统领。
建安十三年（208年），孙权为报父仇（孙坚曾被黄祖部将射杀），决定再次征讨黄祖。黄祖时任江夏太守，凭借江夏的险要地势与水军，多次抵御孙权的进攻，成为江东的心腹之患。此次出征，孙权以周瑜为左都督，程普为右都督，吕蒙为前部先锋。
黄祖得知孙权来攻，令部将陈就率领水军扼守沔口，又在两岸修筑营寨，布下弓弩，意图凭借水军优势阻挡吴军。吴军抵达沔口后，陈就率战船出击，船上士卒手持长矛，高声呐喊，气势汹汹。吕蒙见状，对麾下士卒道：“陈就乃黄祖心腹，若斩得陈就，黄祖军必乱！”
说罢，吕蒙亲自率领数十艘轻舟，冒着箭雨直冲陈就的战船。江面上，箭矢簌簌射来，吕蒙身披铠甲，手持盾牌，指挥轻舟绕到陈就战船侧面，然后纵身一跃，跳上敌船。“拿命来！”吕蒙大喝一声，挥刀便向陈就砍去。陈就猝不及防，急忙举矛格挡，锵锵一声，矛杆被刀砍断，吕蒙趁势一脚将陈就踹倒，手起刀落，斩下其首级。
吴军士卒见主将斩了陈就，士气大振，纷纷呐喊着冲锋。黄祖军见陈就战死，果然大乱，战船四散奔逃。吕蒙率军追击，又攻破两岸营寨，为吴军主力打开了通路。孙权率领大军随后跟进，一举攻克江夏，黄祖在逃亡途中被吴军擒杀。
战后论功，孙权对众将道：“此次征讨黄祖，能破敌制胜，全赖子明斩陈就之功！”当即升任吕蒙为横野中郎将，赐钱千万。吕蒙却将赏赐尽数分给麾下士卒，道：“功劳是众将士一起立下的，我岂能独