一年，陆母的态度渐渐发生了变化。起初，只是偶尔的不满：有时她觉得唐琬太过娇惯陆游，让他分心于儿女情长，耽误了科举备考；有时又觉得唐琬不像其他儿媳那般擅长逢迎长辈。但这些不满，陆母起初并未表露出来。
真正让陆母下定决心拆散两人的，是两件事。第一件事，是陆游的科举失利。绍兴十六年（1146年），陆游赴临安参加科举，本以为凭自己的才情定能高中，却因在考卷中提及“抗金复国”，触怒了主张议和的宰相秦桧，最终名落孙山。陆游失意而归，心中烦闷，唐琬便时常安慰他，陪他在镜湖岸边散步，帮他排解愁绪。可在陆母看来，这却是唐琬“迷惑”陆游的证据——她认为唐琬总是与陆游黏在一起，让陆游无心向学，才导致科举失利。
第二件事，是唐琬婚后未生育。在封建时代，“不孝有三，无后为大”的观念根深蒂固，陆母本就盼着能早日抱上孙子，可唐琬婚后一年多，肚子始终没有动静，这让陆母的不满愈发强烈。她开始私下里对唐琬冷言冷语，有时甚至故意刁难，唐琬虽心中委屈，却从不与陆母争执，只是默默承受，她觉得只要自己做得更好，陆母总有一天会接纳她。
可陆母的态度却越来越差。有一次，陆游不在家，陆母把唐琬叫到面前，严厉地说：“你嫁入陆家，本该以相夫教子为重，可你看看你，不仅没为陆家生下一儿半女，还让务观分心，耽误了他的前程！你这样的媳妇，如何配得上我们陆家？”唐琬听后，泪水忍不住落下，她想解释，却被陆母打断：“你不必多说，若是再这样下去，我便不会再容你。”
唐琬把陆母的话告诉了陆游，陆游听后十分生气，他立刻去找母亲辩解：“母亲，科举失利是我自己的原因，与蕙仙无关；至于生育，也是缘分未到，您怎能怪她？蕙仙温柔贤淑，是个好妻子，您不能对她这么苛刻。”可陆母却态度坚决：“我是为了你好！你若想有出息，就必须与她分开！否则，你这辈子都别想有出头之日！”
陆游陷入了两难的境地：一边是生养自己的母亲，一边是深爱的妻子。他试图劝说母亲，可陆母心意已决，甚至以“绝食”相逼。陆游看着母亲日渐憔悴的面容，心中痛苦万分，在“孝”字面前，陆游没有选择——封建礼教下，“父母之命”大于天，他若执意反抗，便是“不孝”，会被那个社会所不容。
唐琬看着陆游日渐消瘦的模样，心中明白，他们的婚姻已经走到了尽头。有一天晚上，她看着陆游，轻声说：“夫君，我知道你为难。若是母亲实在容不下我，不如……我们便分开吧。”陆游听后，紧紧抱住唐琬，泪水落下：“我不想让你走，我舍不得你。”唐琬也哭了：“我也舍不得你，可我不想看到你为了我，与母亲反目，更不想耽误你的前程。”
陆游并未真正休弃唐琬，而是在山阴城外的沈园附近，为她租了一处别馆，偷偷与她相会。他想，等母亲的气消了，再慢慢劝说，或许还有挽回的余地。
那段时间，陆游常常借口“外出读书”，前往别馆与唐琬相聚。每次见面，两人都格外珍惜时光，他们会像从前一样，一起做饭、读书、写诗，仿佛回到了刚结婚时的美好岁月。可这样的相聚，却充满了不安——他们害怕被陆母发现，每次分别时，都像是生离死别。
唐琬曾在别馆的墙壁上题过一首