自从元嘉十七年彭城王有罪出京，朝廷就征调江夏王义恭任侍中、司徒、录尚书，兼太子太傅，给班剑二十人，置仗加兵；二十一年，义恭又进位太尉，任它职如故。.这些职位和待遇，也就是义康过去所兼任和享有的，虽然个别名号有所不同。
五皇弟和四皇弟多少也是有所不同的。身居显位的五皇弟义恭有感义康之失——“亢龙有悔”，因此小心谨慎；他虽位居总录，但只是执行朝廷的文书而已，他事从不过问。
义恭一向生活奢侈，又不吝惜钱财，左右亲信一旦向他索要，他往往就给予一二百万，但小有忤意，他又强令索回。朝廷每年给相府（即东府，司徒位同宰相）钱二千万，其它物品倍于此，但他常感不足。皇上因他行事大体还让人满意，每年就多给相府钱千万。义恭善骑马，常骑宝马出城二三百里游玩，甚至东到吴郡，登上虎丘山，又登上无锡乌山来眺望太湖。其时，高句丽送给宋王朝八百匹马，皇上就特意把一匹八百里马送给他。
义恭生活上豪奢，但政治上却小心得过了份。他以国家要北伐为名，上书朝廷请求罢去自己的录尚书一职。刘义隆就把那奏章扔在一旁：北伐与罢去录尚书一职有何关系？何必多此一举！随后，他又上书要求削弱王侯的权利，“臣位居台辅，贬损之端请从臣始”。他要求贬损的项目有：
“帐钩不得作五花形；剑不得作鹿卢形；刀不得银铜饰；仪仗用马不得过二匹；平乘船皆下两头作露平形，不得比拟龙舟，皆不得朱油；胡伎不得著彩衣；正冬会不得铎舞、杯盘舞；诸镇常行，车前后不得过六队；公主、王妃传令，不得著朱服；诸王子继体为王者，婚葬凶吉，皆依诸国公侯之礼，不得同皇弟、皇子。”正冬会即冬至节，在古代是一个重要的节日。
刘义隆看了这些琐碎的建议，阴沉着脸。是吃饱了撑的？还是为了防嫌？在离书案好几步远的地方，他就用力一扔，那奏折连同案上的书札一起落到了地上。侍臣连忙上前捡起了它们。
从义康时起，刘义隆为了亲近兄弟姐妹，就要求诸王进入斋阁，只需穿戴着白服裙帽（高屋帽、下裙盖）见皇上，只是出了太极殿四厢才穿戴朝服。——那时候，义康还称呼皇上“三兄”呢！于是义恭又上疏请求罢此，刘义隆不许，并把它定为家法：他这么做实际上是效法先帝的做法。
此后义恭又启奏：
“臣北第旧邸，本已华丽，今已修葺完毕。往年收拾得些许杂木，并蒙陛下所赐木板，拟于宅内作小眠斋，而东府又有斋，亦甚华丽。臣今有二处住止，下情窃所未安。近知东宫玄圃虽有柏屋，制甚古拙，然内中无此斋；臣今欲拆除以奉太子。臣之今启，伏愿陛下垂许。”
就这些内容，他能林林总总写满几张纸。
刘义隆答道：
“狄当今启你愿及见别纸。你州府事众，何苦作如此烦长启事！屋事不烦时建时拆，他事当由狄当转述我意。”
江夏王义恭的频繁启奏已让刘义隆烦不胜烦——刘义隆认为他是庸人自扰，而更让刘义隆头疼的，还是七弟衡阳王义季回京以后的耽酒成癖。
有感于四兄彭城王的幽禁生活以及自己被沈邵囚禁的遭遇，衡阳王义季自豫章回到京都以后，一直闷闷不