禁，为日已久，而不能防闲闺房，致兹丑闻，不顾宪轨，忿杀自由。此而勿治，典刑将废。请以此事免灵运所居官，削其爵土，收付廷尉治罪”。谢灵运因此被免官。
事虽过去数年，但他一直耿耿于怀。王弘兄弟今借近水楼台之势，大权在握；殷景仁、王华等人，名望与地位一直不如自己，如今却后来居上，这怎能不让人心中恨恨！而蜷缩在这几乎与世隔绝的秘阁之中，这又岂是先辈的“东山之志”！
在安静的秘阁里，谢灵运时常低着头来回踱着。那回荡着的脚步声，传递着他心中的躁动不安。久之，他的脚步声渐渐消失。他平静下来。走到案边，他坐下来静思良久，然后推开那一大堆用以参考的晋史，重又摊开一纸，提笔写下了一诗，以追述祖父谢玄在晋氏危难关头曾建立的功德：
中原昔丧乱，丧乱岂解巳。崩腾永嘉末，逼迫太元始。
河外无反正，江介有蹙圮。万邦咸震慑，横流赖君子。
拯溺由道情，龛暴资神理。秦赵欣来苏，燕魏迟文轨。
贤相谢世运，远图因事止。高揖七州外，拂衣五湖里。
随山疏浚潭，傍岩艺枌梓。遗情舍尘物，贞观丘壑美。
在拜谒京陵前夕，刘义隆好像觉察到了谢灵运的郁闷，又好像是为使身边有一个诗人能助其雅兴——作为皇上的刘义隆也是颇爱诗文的，就特意任命谢灵运为侍中伴己前行。
但在京口这一个月中，就像在宫中时一样，商议治国之大事的，仍然是王华、王昙、殷景仁等人，而在宴筵和观赏时，离帝最近的，则是谢灵运和颜延之。他们也是朝臣，但在皇上眼中，他们似乎先是诗人。
在陪侍皇上的这一个月里，有两点给谢灵运留下了深刻的印象，这两点都是在陪侍皇上登上那三面临江、高数十丈的北固山（在今江苏镇江市北）时留下的：一是皇上登山后伫立山顶向江北眺望时的目光和神情，一是他自己奉诏写下的侍游诗《从游京口北固应诏》。在诗中，他先以“玉玺戒诚信，黄屋示崇高。昔闻汾水游，今见尘外镳”来赞颂皇上游览的盛况，中间部分用华丽的辞藻描绘了登北固山所见美景：“远岩映兰薄，白日丽江皋。原隰荑绿柳，墟囿散红桃。”在诗的结尾处，诗人却以“顾己枉维絷”、“终以反林巢”、“曾是萦旧想”等句子抒自己因不得志而想归隐山林的意愿。
像往常一样，谢灵运总是在诗写好之后，再恭恭敬敬地把诗抄写好，然后呈给皇上。刘义隆拿到谢诗，也像往常一样，先称赞其好书法，再对其诗作本身赞不绝口：
“好诗好诗，颜延年所不及。二百年来，我朝谢康乐，当推第一！”颜延之，字延年。
刘义隆每在欣赏谢诗之余，也会模仿他的诗作写上几句。只是在模仿之后，他会边吟咏着自己的诗作，边自叹不如。谢诗写的好，即使是应诏诗，其中也不乏优美的山水佳句。他一边看着，一边高声吟诵着诗中的佳句：“远岩映兰薄，白日丽江皋。原隰荑绿柳，墟囿散红桃。”诗末“顾己枉维絷”“终以反林巢”几句，让刘义隆沉默不言。
谢之为人，性情疏放，前朝时杀兵士于江边，遭王弘弹劾；景平时，又放浪不羁。他虽有谢太傅游弋山水吟咏诗文的雅趣，甚至大过之，