后说：“说得好！但我不能自禁，只有摆好酒肉祝鬼神起誓，然后才可禁酒。”其妻摆好了酒肉，他跪下祝鬼神道：“天生刘伶，以酒为名。一饮一斛，五斗解酲。妇人之言，慎不可听！”于是饮酒吃肉，酣然又醉。从他所作的《酒德颂》中可以看出他深藏于内心的隐情。
《阮始平》中“屡荐不入官，一麾乃出守”，写阮咸虽有高材美质，荐者再三，终究不被信用，而权贵一麾，他就不得不出任始平太守。他与叔父阮籍一样纵情越礼，也一样不为世俗所容。他爱上了姑姑的侍婢，姑姑回娘家时答应为他留下侍婢，但临走时又带上了侍婢一道走了。其时正有客在坐，他急忙借客人的马追赶而去，赶上之后与那侍婢同骑一马而归，路人惊怪不已。诸阮都爱饮酒，一旦阮咸到了，宗人就不再用小的杯觞斟酒，而改用大盆，然后圆坐相向，大酌再饮。权贵荀勖曾经和他谈论音律，自以为远不如他，心怀嫉妒，就出他外任始平太守。这就是谢晦打趣颜延之“二始”的由来。
《向常侍》一赞颂向秀专心文辞，甘于淡薄的情怀，诗一开篇就说“向秀甘淡薄，深心托毫素”。他与嵇康、吕安关系友善。嵇康喜欢锻造，向秀就为他打下手，两人欣然相对旁若无人；他又和吕安在山阳灌园，嵇康、吕安被司马氏杀害之后，向秀经过山阳旧居时，听到邻人笛声，有感而作《思旧赋》。
颜延之所咏之五君，都好酒，不以官场为务，又都任性而为，不媚权贵，这不正是颜延之的自画像吗？此诗一出，虽还不如当初谢灵运的诗有那么大的影响，但凭着颜延之的名望，加之诗中似有影射意——这往往会让好事者争相传抄，因此它很快就传遍了京都。
刘湛等人自然也都看到了这组诗，他们不仅仅着眼于它是不是颜延之个人自叙的问题，而且要细细地寻找诗里有多少影射的成分，以及颜延之在诗中究竟在影射什么人。寻找的结果，让刘湛以及司徒义康大为恼怒，他们也不管已经宣布过让颜延之去任永嘉太守，就在颜延之备办行装的时候，干脆彻底削了他的职——他既然言辞如此不逊，那就让他在家闭门思过好了。
他们好象觉得这事对颜延之的打击还不够重，就在宣布削了他的职的同时，任命光禄勋车仲远代替他为永嘉太守，而这个车仲远正是颜延之平素所鄙薄的人。