衡阳王义季在接任临川王义庆的荆州之前，正值巴蜀一带大乱。.为了援救巴蜀，荆州军队受命调遣应接，颇费府库所积存的财物，致使义季上任之初，江陵府库几近空虚。
义季初到江陵，喜好游赏江陵山水美景，并且日日相继；他又好前呼后拥，在郊野大规模狩猎。
有一次，偶遇一个披着蓑衣的老者在田野中低头耕种，义季左右随从上前呵斥并驱逐他，认为他明知大王殿下在此却不知回避，有失臣民应守之礼。不料老者抱着耒抬头答道：“过去楚子耽于游乐，受讥于令尹。如今春气和暖，正是播种之始。一日不耕，民失其时。大王驰骋游乐，驱逐老夫，非劝农之意！”义季立即控住马，对随从说道：“老者，贤人！他并非普通农夫！”于是就令左右随从赏赐给他食物。见大王施行恩惠，老者又说：“嗬！愿大王使百姓遍得赏赐。若不失民时，境内百姓都能享有大王恩泽，老夫何敢独享大王之偏私？老夫不敢受！”义季闻言颇为震惊，就亲自下马问老者姓名，老者却笑而不答，然后转身而退。义季大受感动，立即率众而归，从此不仅不再做耽于游乐而荒误农时之事，而且躬行节俭，积财省用。数年之间，江陵府库再次得到充实。
对待群下，义季也能普施恩惠。队主续丰因为母老家贫无以赡养，虽然担任将官，但续丰每餐决不吃肉。义季知道后，怜悯他的贫苦，感叹他的孝道，特意赏给续丰老母每月白米二斛、钱一千，同时令续丰吃肉。
元嘉二十一年秋，义季任荆州期满，改任南兖州刺史，进号征北大将军、开府仪同三司。
临别江陵，按旧例府中的帷帐器物都被原刺史带走，但义季全都留给了后任，荆州官民以此为美谈。
顺江而下，义季回京的船队航行到了彭蠡湖口。到了湖口以后，义季吩咐他的随从属下在此逗留数日，自己带着一些人沿赣江绕水道去豫章郡看望四兄彭城王义康。
在豫章，彭城王在离京数年后第一次见到了自己的兄弟，而这次相见，也是二十多年来兄弟二人第一次在异乡含泪相见。
第一眼看到四兄，义季竟然从他的身边走了过去：义季把他当作了差役，彭城王则像往常见了长官那样垂站立在路的旁边。等到侍从告诉了义季，义季才惊讶地从马车里走出来，站定了看四兄，不敢相认。
过去在京都那个头戴三梁进贤冠、身上佩戴山玄玉、手中握着龟纽金玺的彭城王今又何在？
那个在浩大的仪仗簇拥下的司徒兼扬州刺史今又何在？
若相逢在田间，昔日一人之下万人之上的赫赫相王，简直无异一野老！
义季面对着四兄，嘴角哆嗦着，说不出话来，泪水却不停地流着；义康也站直了身体，如梦幻般，似乎充满愧疚地反复搓着自己的肮脏的大手，衔着泪不知如何是好。
还是义季率先回过神来，他上前拉着四兄已经变得粗糙的手，然后又拥抱起四兄，随后扶着他走上马车，朝着四兄的住处走去。
到了一座一看就知道是多年失修的破旧的老房子前，马车停了下来。几个侄儿看到有马车驰来，一个个呆愣愣地站在檐下，泥塑木雕一般，昔日贵为王子的风采全然不见。当看见来人是小叔的时候，他们这才露出难得