在荆州时，彭城王刘义康就性好吏职，加之为人生性聪敏，虽然府州事众，狱讼繁多，但他都能随问对答，竟无违谬。等到入京以后，他和王弘共辅朝政。王弘已经把司徒的位子让给了他，但他并不感到满足，因为王弘还是扬州刺史。
每每在茶余饭后，彭城王刘义康就有意无意地对左右说：“先帝遗言：宰相兼任扬州刺史，可配置甲士千人。”言下之意就是自己虽居宰相之位——司徒，但扬州刺史仍属他人。这话渐传渐远，直至王弘兄弟耳边。
那王弘原就志存谦退，只是皇上不许，才不得已任扬州，如今听了这话，于是再次上表求退，认为自己身荷重任，四载至今，既违前史量力之诫，又无古人进贤之美。皇上得表后，优诏不许。无可奈何，王弘就常常托病请假，众事都交给彭城王刘义康去办。
尽管如此，彭城王仍觉得自己不够名正言顺，加之王弘弟王昙担任侍中，是皇上的亲信，在宫中分了自己的权任，因此其不悦之情往往形于辞色。他曾经这样对左右说：“王公久病不起，国家多事，北有强虏，神州怎能卧病而治！”这不仅让王弘感到忧惶，且连其弟王昙也深感不安，于是王昙上表求外任，要求东行出任吴郡太守——虽然这之间相差两个品级。这当然不会得到皇上的批准。
先帝当初北伐后秦，刘义隆以十岁之龄任冠军将军、徐州刺史，镇守彭城，先帝任命王昙为府功曹，辅佐他；后来刘义隆镇守江陵，先帝又让王昙任长史，并且告诫他说：“王昙沉着坚毅有气度，是宰相之才。你每事都当咨询他。”少帝被弑，王昙又力劝刘义隆入京继大位，是刘义隆之宋昌；入宫以后，他成了刘义隆的左右手。朝廷平定了谢晦，在一次宴会上，刘义隆举杯为王氏兄弟劝酒，拍着御座说：“无卿兄弟，此座哪有今日！”其时，准备为王氏兄弟封爵的诏书已经写成，刘义隆令左右拿给王昙看。王昙说：“近日之事，祸难将成，但凭陛下英明果断，因此罪人得戮。臣等虽得以仰凭天光，效其微力，但哪可因国家之灾以为自身之幸！陛下即使想私宠臣等，但将如何面对直史呢？君举必书，哲王所慎！”刘义隆不能劝止，为兄弟二人封爵之事才停息下来。
此时王昙固求外任吴郡，刘义隆虽然还不能深知就里，但他估计这和其兄王弘为人谦退是一回事，于是对他说：“岂有欲建大厦而弃其栋梁的呢？贤兄近来屡屡称病，固辞扬州。纵使将来答应了他，这扬州之任非卿而谁！”王昙闻此言，心中默念不敢当。
求外任吴郡不成，