也正在这一时期，司徒、彭城王义康的权势日益增大：原本应该由皇上处理的诸多事务，一小部分被搁置起来了，而大部分都由他来处理了。.
在一定程度上，司徒义康代替了皇上。
与此同时，刘湛自从通过司徒左长史刘斌的引荐而与彭城王义康重修旧好以来，权势也日益增大了：过去由司徒处理的事务，除了一部分仍由司徒处理之外，另一部分已由刘湛处理了。在一定程度上，他也替代了司徒。
刘湛原就有器干，后又屡经辅佐名州——虽曰辅佐实为专治，这更培养了他治世的才干，因此，他屡受前大臣如谢晦、王弘等人的赞赏。在彭城王义康看来，刘湛远远强于他的追随者刘斌、王履等人，也因此，除了将过去亲自处理的一部分事务交给他处理之外，如今即使在处理朝政时，也是事事向刘湛咨访。彭城王义康每每对他的群僚这样赞赏刘湛：才能卓异，无人能比！
然而，彭城王义康与刘湛的合作，虽然也得到了一些朝野人士的喝彩，但也受到了来自不同方面的抨击。在众多抨击者中，新任太子中庶子诗人颜延之就是其中较为激烈的一个。
自从元嘉初年以来，颜延之先从始安太守任上被征入朝担任中书侍郎，不久改任太子中庶子，其后又升为四品的步兵校尉。入朝初，他很受也爱诗文的皇上的赏识，所得赏赐也很多，但他生性好酒，为人疏诞。刘义隆在与他闲聊时，曾经问他的四个儿子才艺如何，他回答说：“长子继承了臣的笔，次子继承了臣的文，三子继承了臣的义，四子继承了臣的酒。”时人称有韵者为“文”，不讲究情采声律的文章为“笔”，即后世所谓散文；文与笔往往相对而言。在旁侍坐的侍中何尚之打趣他，问：“谁又得卿之狂？”他立即答道：“其狂狂不可及！”刘义隆闻言大笑。
其时，颜延之凭其才学，名气与谢灵运不相上下，朝野皆敬重他，时人有“江右称潘、6，江左称颜、谢”之说。潘、6，指西晋诗人潘岳和6机。只有年少气盛的司徒祭酒袁淑自负才气，年辈虽然小于他却不太推重他。颜延之在稠人广座中曾忿然斥责袁淑：“前朝陈元方与孔元骏齐年文学，元骏拜元方于坐床下，今君如何不拜？”袁淑无言以对。侍中何尚之曾经当朝值日，颜延之酒后造访他，何尚之知道这个“醉汉”难以对付，就佯装睡觉。颜延之揭开帘子仔细地看他的睡相，然后吟诵着孔子批评弟子宰予白日睡觉的话：“朽木不可雕也，粪土之墙不可圬也。于予与何诛！”这后一句是孔子的失望之辞：对宰予这样的人，责备是没有用的——不值得责备！等到颜延之离开之后，何尚之对身边人说：“此人醉了酒就更可怕！”
颜延之既生性疏诞，不能与当世权贵相周旋，因此也就不能取容当世。他会让袁淑、何尚之等一般朝臣难堪，就是朝中权贵，他往往也不把他们放在眼里。
少帝时，傅亮自以为文才是一时之冠无人能及，颜延之自然不理这一套，加之庐陵王义真又厚待他，徐羡之、傅亮就嫉恨并排挤他，出他外任为始安太守。谢晦对他说：“过去荀勖嫉恨阮咸，斥之为始平太守；卿今日又出始安，可称‘二始’。”那时还只是黄门侍郎的殷景仁还很敬重他，就安慰他说：“卿之今日，正应了世人所谓‘人恶俊异，世疵文雅’。”后来刘