郁黎民发现，母亲高兴的时候总是与父亲有关。解放初一个清明节前的傍晚，富阳第一任县委书记来到家里，看到桌子上放着一盘青蒿，这是富阳的风俗，用来做清明果的。书记就问：“这也能吃？”孙荃回答：“能吃。”隔了一天，政府就送来了80斤大米，原来这位北方干部以为这一家人还在吃野菜度日。受到政府这样的礼遇，孙荃总觉得这是丈夫给她的荣耀。
更让孙荃感到荣耀的，是1952年郁达夫被中央人民政府追认为烈士，她领到了由毛泽东亲笔签名的烈属证，这让她感到无上的光荣，并且成为晚年的精神寄托。
孙荃去世前，很少离开郁家老屋，堂屋里始终挂着郁达夫的手书对联：“绝交流俗因耽懒，出卖文章为买书。”1978年3年29日孙荃逝世，享年82岁。
1927年1月14日，郁达夫在留日同学孙百刚（也是王家世交）家中邂逅了王映霞，一见倾心，立刻坠入情网，不能自拔。当天，郁达夫就邀约了孙百刚夫妇与王映霞一同出去午饭，前前后后显得异常的兴奋豪爽、周到细致，可谓备极殷勤。在当晚的日记中他写道：“中午我请客，请她们痛饮了一场，我也醉了，醉了，啊啊，可爱的映霞，我在这里想她，不知她可能也在那里忆我？”
王映霞比郁达夫小11岁，原名金宝琴，杭州人，因过继给外祖父王南为孙女，改名王旭，字映霞。王映霞为杭州的浙江省立女子师范学校毕业生，是一个性格活泼的知识女性。王映霞长身玉立，肌肤白皙，从小就有“荸荠白”的雅号。她面如银盘，眼似秋水，鼻梁是希腊式的，挺而直，娇躯略现丰满，曲线窈窕，骨肉停匀，在杭州女中和浙江省立杭州女子师范就读时，就有“校花”之誉，及笄而后，更居当时杭州四大美人之首。郁达夫一见倾心，遂求再见、三见，于是上演了现代文坛一段轰轰烈烈的恋爱传奇。
1927年，郁达夫在写下许多革命性很强的政论的同时，也写下了许多情书和日记。郁达夫还将自己的日记集于当年9月交北新书局出版，名曰《日记九种》。此书的出版事前并未经过王映霞同意。在《日记九种》中，郁达夫详细地描述了他和王映霞从相识、相知到相爱的全过程。他语无伦次地将他迟到的爱情说成是“富春江上神仙侣”。两个被神箭射中的情侣，偷偷地躲在西湖边神昏颠倒地诉说情话：一个把自己比作玉皇，觉得世界上再也没有比自己更快乐的生物；一个把自己比着皇后，已经快乐得说一句话都很困难。在日记里，郁达夫甚至连与王映霞接吻的次数都有详细的记载，哪一次亲吻得最长都有明确的记录。
这场恋爱理所当然地遭到了许多人的反对，其中包括孙百刚、郁达夫的长兄郁曼陀，甚至于是当时创造社的潘汉年、叶灵凤。郁达夫追求王映霞的成功最主要得力于王映霞的祖父王南的支持。王南，字二南，清末贡生，当时为杭州著名文化人。王南很爱惜郁达夫的才华，因此并不忌讳郁达夫已有妻室和3个孩子，并且没有固定的经济收入。
郁达夫在与王映霞拥抱和狂吻之时，“觉得世界上最快乐、最尊贵的经验，就在这一刻得到了。”此时，郁达夫在信中对王映霞的称呼也是最亲热的，在名字前加上“最亲爱的”字样。
郁达夫认识王映霞两个月，有一日在见过王映霞后，在日记中记到：“在马路上也看见了些粉绿的卖妇，但我对她们的好奇心，探险心，完全没有了，啊，映霞！你真是我的Beatrice。我的丑恶耽溺的心思，完全被你净化了。”
1927年6月5日，郁达夫和王映霞在杭州宴客订婚，次年2月在上海结婚，3月迁入上海赫德路嘉禾里居住，正式组建了小家庭。
王映霞在自传中到她与郁达夫的婚礼：“l928年的春天，郁达夫和我准备结婚。地点问题，倒着实经过考虑，最后才决定去日本东京。既然已决定下来了，我们就印发请帖，请帖上是2月21日在日本东京精养轩结婚，通知了中外亲友。后来临时由于经济问题解决不了，郁达夫说不去东京了，但又怕我祖父和母亲不同意，然后和我商量决定。在2月初，我们就到北火车站附近的小旅馆里去租住了一个多月，到了3月中旬，才又搬回民厚南里居住。不久就在南京路的东亚饭店（原址在现南京东路浙江路的服装公司）请了两桌客人，请的是几个比较接近的朋友，这一次的请客，就算作是我们的喜筵。”
郁达夫一直没有与孙荃离婚。郁达夫表示过“知识我也不要，名誉我也不要”，就是一定要与王映霞结婚的决心。但是他却受到了来自郁家的压力，特别是兄长郁曼陀对他的压力。郁曼陀凭借的是法律，曾多次写信告诫他“这是要犯重婚罪的”，在弟弟的婚姻问题上毫不让步。郁达夫无奈之下，只能让自己与孙荃的婚姻继续存在下去。
而在这种情况下，郁达夫与王映霞只能选择了低调的婚礼。据学者研究，郁达夫取消东京的婚礼并不是因为经济上的原因，真正的原因在于郁达夫“为了达到既要向王映霞家交待‘已经结婚’，而在世人面前又是‘没有再婚’这样一种目的”。
王映霞的同学顾鹤寿夫妇就接到了请帖，而且他们夫妇当时也正在东京，2月21日这天他们到精养轩参加王映霞和郁达夫的婚礼，却“扑了个空”，然后再写信问王映霞。郁达夫和王映霞说孙百刚为介绍人，可孙百刚本人却不出席，只有他夫人出席了他们的婚礼。而且孙百刚在当时自称反对此事，几十年后写《郁达夫与王映霞》（浙江文艺出版社出版）对郁、王结合也仍持反对态度。所以，郁达夫与王映霞只能算是同居。
郁、王同居次年即发生郁达夫因一言不合而突然出走宁波的事，此事最后由郁达夫向王映霞之母写“保证书”了结。此后郁达夫发脾气，又多次出走，王映霞说：“郁达夫在外祖父面前是经常写悔过书的，多写后就不起作用了。”1932年1月在上海，王映霞“叫郁达夫请来了律师徐式昌，和北新书局经理李小峰，当着众人的面，郁达夫写下了一式三份的‘版权赠与书’。律师、书局、和我三方各执一份。”原来，面对郁达夫原配未弃的实况，王二南先生出于对外孙女未来的忧虑，督促郁将其所有著作的版权，签署正式的法律文件赠与王映霞。面对王映霞的要求，郁达夫虽答应并照办，但却感到锥心之痛，情爱的馨香居然泛出钱财的铜臭。
1933年春，郁达夫迁往杭州，并拟定居于彼时，鲁迅等朋友就劝阻过，鲁迅还专门写过一首诗《阻郁达夫移家杭州》，从许多历史典故说明杭州险恶。但郁达夫还是把爱巢建在王映霞的故乡——杭州，可谓爱屋及乌。
1936年初，郁达夫在杭州横河桥场官弄建成了自己的住房，取名为“风雨茅庐”（现为横河派出所），共有3间住屋2间书房，占地一亩一分四厘，共花去一万五六千元。郁达夫为此负债四千元。然郁达夫一生在此屋内仅居住3次，时间加起来尚不足一个月。这座房屋的房契写的是王映霞的名字，此后被王映霞出售。
虽然经历了多次不快，但郁达夫依旧依恋王映霞。为谋生计，他到福建投奔陈仪。一个人在异乡，郁达夫一直思念王映霞，他于1936年在日记中写道：“晚上独坐无聊，更作霞信，对她的思慕，如在初恋时期，真也不知什么原因。”
郁、王二人的关系不久便走到了濒临劈裂的边缘。1938年7月5日，郁达夫在汉口《大公报》第四版公然刊登《启事》，全文如下：“王映霞女士鉴：乱世男女离合，本属寻常，汝与某君之关系，及搬去之细软衣饰、现银、款项、契据等，都不成问题，惟汝母及小孩等想念甚殷，乞告一地址。郁达夫谨启。”
原来此处“某君”即指时任浙江省教育厅厅长的许绍棣，许此时刚刚丧偶，也正携三个女儿在丽水，与王映霞朝夕相处。郁达夫闻听有关两人的传言，本就将信将疑。在福建时，郁达夫在庙里抽得了一支怪签云：“寒风阵阵雨萧萧，千里行人去路遥。不是有家归未得，鸠鸣已占凤凰巢”，使他对早先听说的王氏与浙江省教育厅长许绍棣有染的绯闻，由怀疑渐近乎相信。后来，郁达夫返回杭州，又在自己家中发现了许绍棣的信件，终于忍不住大怒，夫妻争吵。郁达夫将这些信批量影印赠送友朋，声称是打官司的“凭证”。王映霞则匆忙卷带细软躲到一个律师朋友家中。郁达夫请过郭沫若来查看现场，并在报上大登侮辱性的启事，且致电致信浙江军政府，吁请查找王映霞。
据说，1938年暮春，郁达夫从徐州回汉口家中，见王映霞正在书房读信，王一见郁来，便将信草草撕了几下丢到痰盂里。郁将信从痰盂中捞起一看，正是许绍棣给王的情书。二人闹翻。郁达夫每一喝醉，便指着自己的鼻子说：“我是乌龟，我是乌龟！”
后经友人调解，1938年，7月9日，郁达夫与王映霞签订《协议书》：“达夫、映霞因过去各有错误，因而时时发生冲突，致家庭生活，苦如地狱，旁人得乘虚生事，几至离异。现经友人之调解与指示，两人各自之反省与觉悟，拟将从前夫妇问之障碍与原因，一律扫尽，今后绝对不提。两人各守本分，各尽夫与妻之至善，以期恢复初结合时之圆满生活。”周象贤、胡建中为见证人，双方“和解”。7月10日，郁达夫在《大公报》又登出《道歉启事》。
德国马汉茂辑《给郁达夫的信》中第二封，本为王映霞“致郁达夫夫君收存”的“字据”：
〖映霞因一时家庭生活痛苦，精神上无所寄托，致与许绍棣君有精神上的热恋情事，现经友人调解及自己之反省，觉此等情事，实与夫妻生活有碍。今后当绝对与许君断绝往来，夫妇共同努力于圆满家庭生活之创造。
此致
郁达夫君收存〗
有人认为是王映霞先写了这张字据交郁达夫收执，郁达夫才肯在《大公报》刊登有“神经失常”字样的《道歉启事》的。但王映霞在《自传》中坚决否认这张字据。
然而感情的裂痕却自此愈来愈深，终至最后在南洋恶脸相向。郁达夫把上面提到的签诗和他所写的词，连同年（民国）三十六到三十八年间作的十八首律诗与绝句集为一编，加以注解，名曰《毁家诗纪》，在香港《大风》杂志上公开发表，详细叙说王映霞与许绍棣的“热恋情事”；并声言不要稿费，轰动一时，成为当年的热门话题。郁达夫在诗词中将王映霞比作妾。情变后王氏出走，郁指其为“逃妾”，并在其丢下的一袭纱衫上题“下堂妾王氏衣物”。
而王映霞也以《一封长信的开始》和《请看事实》相对应，在文中他否认与许绍棣的关系，并极力对郁达夫攻击，甚至有“蒙了人皮的兽心”等语，也是辩诬过头，几近谩骂。在报纸的推波助澜之下，一对“富春江上神仙侣”终于覆水难收，以“协议离婚”分道扬镳。王映霞从新加坡孤身回国，郁达夫则携带儿子郁飞继续在南洋飘泊，直到1945年被日本宪兵秘密杀害。王映霞后嫁于华中航业局经理钟贤道，据传当时婚礼极尽铺张奢华。郁达夫失踪后，郁达夫与王映霞所生的两个儿子（郁飞除外）也被送到孙荃处抚养。2000年12月，王映霞去世。
汪静之在《王映霞的一个秘密》中揭露，王映霞的外遇对象并不是许绍棣，而是戴笠，因为害怕戴笠对郁达夫包括自己不利，所以他一直没有说出来，他还写道：“1946年夏我回到上海，我的妻子的一位同学钱青（也是王映霞的同学）说：‘王映霞从南洋回到重庆和某人（我忘了姓名）结了婚，就要戴笠帮忙，戴笠给她丈夫做运输汽车队队长，在滇缅路直到重庆做运输工作，汽车运私货，大发财。抗战胜利后，1945年戴笠给王映霞的丈夫做运输方面的宜昌站站长，也是发财的职务。上海接收时戴笠给了王映霞一座接收下来的洋房，成了王映霞所有的房产。’这位同学又说：‘戴笠一直是王映霞的姘头，我有可靠证据。’”
对于汪静之的暴料，王映霞之女认为纯属谣言，“此人到了老年，整个心态不正常，爱骂谁就骂谁。”郁达夫之子郁飞的妻子则说，这是把许绍棣以讹传讹当成了戴笠。但是，许多研究者认为此并非子虚乌有的无稽之谈，郁达夫投奔陈仪，以及此后远走南洋，很有可能就是为了躲避戴笠。郁达夫没有征得王映霞的同意就带王映霞出国来到新加坡，以至于王映霞后来说自己是“被骗到了星洲”。
对于郁王的婚变，身为郁达夫好友的郭沫若与曹聚仁则为王映霞打抱不平的。“但我们设身处地替王映霞作想，那实在是令人难堪的事。自我暴露，在达夫仿佛是成为一种病态了。别人是‘家丑不可外扬’而他偏偏要外扬，说不定还要发挥他的文学的想象力，构造出一些莫须有的‘家丑’。公平地说，他实在是超越了限度。”曹聚仁则转引易君左的话说，“但达夫的举动粗糙恶劣，确有令映霞难堪之处。……假如几百年前，唐伯虎这样揭穿了秋香的秘密，秋香还会相安于室吗？”“仿佛达夫之做‘乌龟’，乃是命定了的呢！”
而另外还有一种说法，则是说有一位马来西亚槟榔屿歌女玉娇小姐最后促成了郁王婚变。1939年元旦，郁达夫担任《星洲日报》编辑的同时，又前往马来西亚槟榔屿参加该报的姊妹报《星槟日报》的创办典礼，就是在那里，他结识了歌女玉娇。据说那玉娇仿佛是王映霞年轻时的化身，而此时的王映霞，已是三个孩子的妈妈，颠沛流离，忧患余生，兼之婚姻触礁，哪里比得上玉娇的绮形玉貌，艳丽多姿。郁达夫在玉娇身上，找到了王映霞年轻时的影子，燃起了他即将熄灭的爱情火焰。王映霞知情后，对他们本已触礁的婚姻，无异于绝望至跌落冰底……
王映霞将自己与郁达夫关系破裂的原因归结于郁达夫，她在《王映霞自传》中说：
“我曾看见一篇文章里说：‘……发妻荃君，既遭遗弃，又藕断丝连，怜念有加，暗中往来如故。这一切都是他们夫妇隙末凶终的因素……’此话并不是没有道理，说要与孙荃离婚，但实际上只是分居，而且他在诗中几次把我当作妾姬看待，如他写的七律《登杭州南高峰》中，就有：
〖病肺年来惯出家，老龙井上煮桑芽。
五更衾薄寒难耐，九月秋迟桂始花。
香暗时挑闺里梦，眼明不吃雨前茶。
题诗报与朝云道（后改霞君），玉局参禅兴正赊。〗
另一首《偶感寄映霞》：
〖一带溪山曲又弯，秦亭回望更清闲。
沿途都是灵官殿（我姓王，杭州省嘲王灵官者），合共君来隐此间。〗
很明显，这是把我比作苏东坡侍姬朝云。以后在《毁家诗纪》中，又把我比作白乐天的侍姬樊素，还称为‘下堂妾’。说实话，我也是有文化教养和自尊心的女人，心中岂能无动于衷？”
王映霞在自己的自传中列举的郁达夫劣迹：夫妻一吵架，就离家出走，丝毫不管妻儿的生活；日本侵略军到来前，仓皇逃亡，丢下老母在大后方，活活饿死；在报纸上登广告抹黑妻子（即王映霞），让妻子脸面丢尽，无地自容……最重要的是，无端怀疑妻子和浙江教育厅厅长许绍棣有染，写下凄惨哀婉的《毁家诗纪》组诗，把王映霞描述成红杏出墙的荡妇，而此时，夫妻二人还睡在同一张床上……
1998年5月，汪静之之女汪晴在泰国的《亚洲日报》发表了《汪静之为郁达夫鸣冤》一文。汪晴在文章中说：大概是在八十年代里，有一天父亲拿两张香港报纸的剪报给我看，上面是王映霞写的自传性的文章，一篇很长，另一篇较短，我看了一遍，文章里说郁达夫多疑，心理变态，神经有病等等。最近我看到一九九一年安徽文艺出版社出版的《王映霞自传》中王致陆丹林的信和王的文章《一封长信的开始》，王在其中竟称郁达夫为“无赖”、“包了人皮的走兽”、“魔鬼”，说他“无耻”、“下贱”、“阴险刻薄”、“自知：别人会把他当作一只疯狗看待”，这些狗血喷头的恶骂，我回忆起来，父亲在八十年代给我看的两篇文章里好像没有，不知他后来是否看见过王致陆的信和《一封长信的开始》，如果看到，更不知他会气成怎样？当时我看完父亲拿给我的两篇文章后，父亲气愤而且沉痛地说：“郁达夫冤枉啊！王映霞把他说得那么坏，宣传得那么广，其实郁达夫是好人，他的神经正常得很！是王映霞自己有问题，却反诬郁达夫。王映霞当戴笠的姘头和在武汉堕胎的事，达夫至死都不知道，达夫死后却还受到这样的侮辱，至今没有洗清，太冤枉了！我一定要为郁达夫伸冤！”
1938年12月28日，郁达夫应新加坡《星洲日报》社长胡昌耀的邀请，决心到新加坡去作海外宣传。郁达夫在中国抗战正激烈的时期出走南洋，引起了人们的许多猜测：有人认为郁达夫是为了抗日需要，到南洋去作海外宣传；有人认为郁达夫出走南洋是为了挽救他即将破裂的婚姻；也有人认为郁达夫是因为当时国民党某要员的迫害，无奈出走；还有人认为郁达夫出走南洋，是为了寻找创作灵感。
郁达夫自己在《毁家诗记》中也说到了南渡的原因：“纵倾钱塘潮水，奇羞难洗。欲返江东无面目，曳尾涂中当死。”所谓“奇羞”，据郁达夫注释，大概在1937年八九月左右，他不在家，浙江教育厅厅长许绍棣乘机在一次饭后，和王映霞发生了关系。郁达夫因此感到“奇羞难洗”，于是决定投奔南洋，在远离是非中心的祖国重新培养夫妻感情，挽救婚姻危机。
1940年，郁达夫在与王映霞离婚前夕曾有《珍珠巴刹小食摊上口占》一诗：“月缺花残太不情，富春江上晚凉生。如非燕垒来蛇鼠，忍作投荒万里行。”而随父亲去新加坡的11岁的郁飞在30多年后回忆此事也说：“父亲于此时应聘去国的原因，我想不外是国内政治气氛的逐渐逆转和家庭变故的创伤难以平复。”
郁达夫的第三任妻子何丽有印尼华侨。1943年郁达夫在印尼化名赵廉，在巴爷公务（PajakoemBceh）和朋友合开赵豫记酒厂。郁达夫在印尼，为了更好地掩护自己的真实身份，9月经朋友介绍，与何丽有结婚。何丽有原籍广东，遇见郁达夫的时候年仅20岁，生父姓何，幼时为一姓陈的人家收养，取名叫陈莲有。她相貌平常，没有什么文化，而且不懂中国话。郁达夫给她取名为何丽有，意思即“何丽之有”。一直到郁达夫遇难，何丽有才知道郁达夫是中国文化界的名人，而不只是一名寻常的酒厂老板。何丽有与郁达夫有两个孩子，儿子取名郁大雅（亚），郁达夫的用意是含有讽刺日本军国主义推行的“大东亚共荣圈”之意；郁达夫失踪离家后几个小时，他们的小女儿郁美兰来到人间。
【畸恋】
13岁时，郁达夫在富阳高等小学堂读书期间，就与比邻的“赵家少女”有过一段“水样的春愁”的初恋之情，时间长达两年之久。后来赵家少女订婚，他还深深懊丧自己失去了良机。大约在同一时期，他还与倩儿等两位姑娘有过类似的恋情。
后来郁达夫去了日本，又曾经与后藤隆子、蓧田梅野、玉儿等日本少女产生过恋情。后藤隆子被郁达夫昵称为“隆儿”，是郁达夫下宿处附近的“小家女”。郁达夫每次从学校到市上去，都要从她的家旁经过，遂产生情愫，并为她写下了四首诗。蓧田梅野是名古屋旅馆的侍者，郁达夫与她交往数月，同样也为她写有诗词。玉儿也是侍女，郁达夫为她所写的情诗“玉儿看病胭脂淡，瘦损东风一夜花，钟定月沉人不语，两行清泪落琵琶”至今为人称道。
李初梨说郁达夫是“摹拟的颓唐派，本质的清教徒”。
陈翔鹤说：郁达夫跟他们多次逛胡同，达夫的方法，是一条胡同、一个班子的慢慢看，先点若干班子的名，然后挑一个姑娘到她屋子里坐坐，或者一个也不挑。有一次，他对一个姑娘说：“让我抱抱吧，我已经有五六个月不亲近女人了！”这个姑娘就向他的怀里坐下去。
郁达夫从日本留学归来，在安庆法政学院教书，据说除了上课，全部时间和收入都花在游荡上。他寻花问柳的条件是：第一，年龄要大一些；第二，相貌要丑一些；第三，要没人爱过的。有一段时间，他的绰号就叫“三条件”。据此，老鸨婆便给他介绍了一位名叫“海棠”的妓女。据易君左说，他本人就是当年常随同郁达夫到海棠那里去打牌饮酒的数人之一，“这朵‘海棠花’我拜见过，当时芳龄不过比她的‘如意郎君’大两三岁，即二十七八岁，天生一副朱洪武的异相，嘴可容拳，下巴特长，而上额不容三指。据说这种面相，在男子当有‘帝王之尊’，在女子则谁也不敢领教。”
1921年他赴安庆的安徽法政专门学校执教时，与一位妓女海棠姑娘过从甚密。他每日任教结束，必到位于城外的海棠姑娘处，而由于有早课，他又必须凌晨时分早早赶到城门洞里，耐心地等城门打开。郁把自己每月教书所得的收入，都如数交她保管。有人认为，郁达夫这一时期创作的小说《茫茫夜》，可以认为是真实地记录下他的这一段感情生活。其中女主人公海棠，正是郁达夫过从甚密的海棠姑娘，而男主人公“于质夫”，当是郁达夫“夫子自道”了。
沈宁在《一个家族记忆中的名流政要》中写道，在安庆时，郁达夫对太太很好，12点钟下课，半个小时后和朋友聚会吃饭，中间还要回家去看太太一趟，安庆是个山城，虽有人力车，大家都不坐。郁达夫走路很快，只要有十分钟十五分钟，他一定旋风一样回家去看看太太。沈宁的小说《泪血尘烟》也曾这么记载。但是，根据其他资料分析，沈宁笔下郁达夫半个小时也要去探望的应该海棠姑娘而不是孙荃。
关于郁达夫，曹聚仁先生有个著名的比喻。他说：诗人住在历史上是神人，飘飘欲仙的；但住在你家隔壁就是个疯子。曹先生引了郁达夫的好友易君左讲的一个故事：说郁达夫在安庆教书的时候，有一次，他经过某小巷，看见一家杂货铺的老板娘颇有姿色，便上前搭讪，指名要买老板娘头上的别针和襟上的手帕，那老板娘见钱眼开，把两件私物真卖给他了。郁达夫买回后跑到寝室，对着镜子，用别针刺破自己的嘴巴和手指，让血滴在手帕上，放在鼻子底下狂嗅，越嗅越香，又哭又闹，令同室大为紧张，闹得满屋子人都以为他发神经病。
1926年冬，郁达夫在广州向戴季陶校长辞去中山大学教授和出版部主任之职的当天晚上，与白薇等人逛公园，后来又与白薇一道看电影，吃饭，甚是亲密。有天晚上，白薇送了他一张非常“灵敏可爱”的照片（《郁达夫日记》1926年11月21日）。不久，郁达夫就往上海去了，这段浪漫很快就随之结束。
郁达夫就在向王映霞猛烈求爱而没有得到王映霞的明确允诺之时，一度还向一位名叫徐之音的寡妇求爱，他甚至产生一种不可思议的幻觉，觉得这个寡妇“实在可爱之至”，比王映霞要“强得多”。
有了王映霞，郁达夫也没有停止对其他女性的欣赏。1927年4月15日，郁达夫见到一个叫“文娟”的女子，竟然为她所“迷乱”。
1928年秋天，郁达夫见到了美女作家谢冰莹时表现出十分兴奋和激动，王映霞见了就说他是个“放荡惯了的人”。
1934年7月23日，郁达夫见到了一位姓栾的小姐，于是在日记里记道：“栾小姐貌美，身体亦强健，在青岛接见的女士之中，当以她为最娇艳温柔。”
郁达夫在杭州生活期间，还有一个姓丁的女子到他这里来拜师，而这个女子虽然说是学生，但是年龄差不多30岁，结过婚不如意又离了婚，她非常仰慕郁达夫，为郁达夫在杭州修建的“风雨茅庐”提供不足的资金。像这样对年轻貌美女性的品评文字在他的这一时期的日记中还不少。
郁达夫与王映霞的婚姻陷入危机之时，他在新加坡欢迎他宴会上遇到了一个叫“玉娇”的歌女。这个歌女当时就坐在郁达夫的身边，她不仅钦佩郁达夫诗才，而且还敬酒三大杯，她在郁达夫的眼中因“两个大酒窝”而“娇美可爱”。其实，这并不表明郁达夫爱上了王映霞，而是这位玉娇小姐在郁达夫的眼里分明是王映霞的化身。有一次，郁达夫喝醉了酒，居然搂着玉娇小姐说：“映霞！是你对不起我！”他似乎从玉娇小姐身上找到了王映霞的年轻时的身影。郁达夫与玉娇小姐的浪漫故事才非常短暂，只有大约两年的时间。
王映霞离开星洲之后，郁达夫的心境极其孤寂和颓唐，这时，一位国色天香的女播音员李小瑛（筱瑛、晓瑛、晓音）出现在他的面前，使他已是一潭秋水的心池，又波动起一片涟漪。李筱英是福建人，毕业于上海暨南大学，能说流利的英语、上海话。1941年，李筱英刚满26岁，因和丈夫意见不合而离婚。当时她是新加坡情报部的华籍职员，后来又担任新加坡电台的华语播音员。李小瑛十分崇拜郁达夫的文学才华，并主动向郁达夫示爱。46岁的郁达夫在政治失意和家庭破裂之余，遇上这位花容月貌的佳人，一拍即合，两人感情迅速发展，不久，李小瑛就以郁达夫“契女”的名义搬到郁达夫家中居住，郁达夫也不避嫌疑，把自己的书房让给李小瑛，暗中则已实行同居之好。为了表示亲昵，郁达夫甚至用罗马史家Livius的英文名字Livy作为对李小瑛的昵称，还常用德语IchLiebedich（我爱你）来表示爱意。据王任叔说，他对这位李小姐，已到了“忠顺与卑屈，已到了奴隶的程度”。
但是，郁达夫和李筱英的结合遭到郁达夫的儿子，当时仅13岁的郁飞反对。虽然李筱英极力想搞好和郁飞的关系，时常带他去看电影，散场后还带他去高级餐厅饮冷品，并买很多玩具给他。郁飞想要架小望远镜看星象，她发薪水后领着郁飞去欧洲人商业区打算给他买，谁知只有大型的，价格相当于她的月薪，只能作罢。可是郁飞对这些始终不领情。郁达夫碍于儿子不接受李筱英，也不便正式结婚。1941年12月，李筱英痛苦地搬出郁家。太平洋战争爆发后，李小瑛退到爪哇岛，郁达夫逃亡到苏门答腊。为了表达自己的感情，郁达夫模仿唐代大诗人李商隐的《无题》，以李筱英为主人公写下了不少诗篇，后来将这些诗收入名为《离乱杂诗》的集子中。
对于郁达夫和李筱英的相恋同居，吴继岳在《值得我们怀念的爱国诗人郁达夫先生》中作了这样的评述：“李筱瑛一因久慕郁先生的才华，且知道郁先生已和王映霞仳离，由于同病相怜，李筱瑛便主动向郁先生示爱。……不久，李筱瑛公然以郁先生的‘契女’身份，搬进郁先生家里。那时郁先生的大儿子郁飞已十三四岁，对李筱瑛没有好感，郁先生也因受过王映霞的教训，对年龄几乎比自己小一半的美丽少妇，虽难拒她的热爱，但碍着儿子，不便注释结婚。两人虽已同居，但名义上还是‘契女’与‘契爷’。这种情绪约莫过了半年。”
李筱英后随军撤到印度，并跟一位青年广播员结婚，其后丈夫在一次车祸中丧生。她悲痛之余，返回新加坡，在“丽的呼声电台”任华文部主任。后来再嫁，并定居香港，生儿育女。
田汉在自传体小说《上海》中，为停妻别恋的朋友郁达夫辩护，将爱情的多元论归结为“艺术家的特权”。
【忏悔】
郁达夫第一次去妓院，受了龟儿鸨母的一阵欢迎后，郁达夫便选定了一个肥白高壮的花魁妓女。这一晚，他直坐到深夜，且歌且饮之后，便把童贞破了。第二天中午醒来，在锦被里伸手触着了那一个温软的肉体，便迷迷糊糊地想起了昨夜的痴乱的狂态，顿时觉得像在大热天里，当头被泼上了一身凉水。他情不自禁地流下了两行热泪，狠狠地自责说：“太不值得了！太不值得了！我的理想，我的远志，我的对国家所抱负的热情，现在还有些什么？还有些什么呢？”他的这种巨大的精神痛苦，充满尖锐的灵与肉、道德律令与本能欲望的激烈冲突，时刻都在折磨、压抑着他，表现在作品《雪夜》中。
郁达夫对于自己之所以沉迷于酒色生活的情由，曾这样说过：“人生终究是悲苦的结晶，我不信世界上有快乐的两字。人家都骂我是颓废派，是享乐主义者，然而他们哪里知道我何以要去追求酒色的原因呢？唉唉，清夜酒醒，看看我胸前睡着的被金钱买来的肉体，我的哀愁，我的悲叹，比自称道德家的人，还要沉痛数倍。我岂是甘心堕落者！我岂是无灵魂的人？不过看透了人生的命运，不得不如此自遣耳。”
郁达夫苦闷的时候，经常会骂孙荃。孙荃从来不还口，任郁达夫骂去，她总是一边擦着眼泪，一边拖着日益膨胀的肚子到厨下给郁达夫烧饭做菜；或者是默默地躺在床角里暗自流泪。而郁达夫每当骂了妻子后，把胸中的悲愤发泄完了，却又往往会痛加责备自己：“啊啊！我在社会上虽是一个懦弱的受难者，在家庭内却是一个凶恶的暴君哪！”在责备自己后，郁达夫还常常对孙荃加以抚爱一番。
当孙荃生下他们的第一个男孩龙儿后，郁达夫在高兴之余，更多的是忧虑，耽心日后会有更多的苦吃。因而，他又向孙荃大骂起来：“你和小孩是我的脚镣，我大约要为你们的缘故沉水而死的！”
郁达夫的龙儿夭折后，孙荃含着眼泪将龙儿患病前后的事情，一一讲给了郁达夫听。孙荃对郁达夫说，龙儿生病之前的一天午后，在门前玩耍，看见一乘马车，马车里坐着一个戴灰白色帽子的青年，就以为是郁达夫回来了，因为龙儿记得爸爸去年离京时所戴的，是顶白灰呢帽。当马车开走后，龙儿仍然哭喊着：“爸爸为什么不回家来吓？爸爸怎么不回家来吓？”不管孙荃怎样慰说，他还不停地哭着。
孙荃还告诉郁达夫，龙儿患上脑膜炎之后，经常问她：“爸爸几时回来？”“爸爸在上海为我定做的小皮鞋，已经做好了没有？”尤其是将死的前五天，他连续叫了几声爸爸。
当郁达夫听了这些后，感到十分痛苦和愧疚。认为自己“实在不该抛弃了他们，一个人在外面流荡，致使他那个小小的心灵，常有这望远思亲的伤痛。”
郁达夫和王映霞热恋后，内心也时常泛起对孙荃和孩子的忏悔，如他在1927年2月7日的日记就记到：“我也该觉悟了，是resignation确定的时候了，可怜我的荃君，可怜我的龙儿熊儿，这一个月来，竟没有上过我的心，啊啊，到头来，终究只好回到自家的破烂的老巢里去。这时候荃君若在上海，我想跑过去寻她出来，紧紧地抱着了痛哭一阵。我要向她confess，我要求她饶赦，我要她能够接受我这一刻时候的纯洁的真情。”
1927年3月26日，郁达夫在日记中写道：“我一边抱拥着映霞，在享受完美的恋爱的甜味，一边却在想北京的女人，呻吟于产褥上的光景。啊啊，人生的悲剧，恐怕将由我一人独演了。”与王映霞结婚之后，郁达夫每月还给孙荃寄生活费50元，表现出对孙荃生活认真负责的态度。
【逸事】
郁达夫写作旧诗，最初引领他登堂入室的，是他所服膺倾倒的清代诗人黄仲则。在由富阳乡下转到杭州中学的第一年，他不过十三四岁的少年，某天去旧书铺闲逛的时候，忍受不过店员的白眼相向，一气之下买了黄仲则的《两当轩集》。
一次，在私塾读书的郁达夫的二哥逃学，郁达夫不知道母亲已经发现了，还继续替哥哥隐瞒。郁达夫的母亲拿出砧板菜刀，一边揪着二儿子，一手操刀把砧板剁得咚咚响，并要三儿子郁达夫在旁边跪下，说是“包庇不告者同罪”。这一来，郁达夫兄弟俩再也不敢逃学，也不敢“知情不报”了。
有一次，一帮同仁在鲁迅家里聚饮，鲁迅先生讲了一则讥讽和尚的笑话：一个老和尚垂死之际，有一桩遗憾使他死难瞑目，就是从来没有看到过女人的私处。弟子们只好花钱雇了一个妓女送到病塌前，老和尚一看，说了“惊天动地”的一句话：哦，原来跟尼姑的一样。这才放心西登极乐。郁达夫听完这个故事后，从鲁宅一直咯咯不停地笑到自家，就赶忙翻捡藏书，查找笑话的来源。郁达夫藏书颇富，达万册以上，居然未能查到出处。他于是只好惊讶于鲁迅先生的读书之博了。
1932年10月12日，郁达夫在上海聚丰园设宴，时鲁迅在座。郁达夫问鲁迅“这些天仁兄辛苦了吧？”鲁迅吟出了前两天未写完得半首诗：“横眉冷对千夫指，俯首甘为孺子牛。躲进小楼成一统，管他春夏与秋冬。”郁达夫接着打趣地说：“如此看来您的华盖运还没有脱。”鲁迅忽有所悟，说：“给您这么一说，我又有了上半首诗。”上半首诗是：“运交华盖欲何求，未敢翻身已碰头。破帽遮颜过闹市，漏船载酒泛中流。”合起来便是鲁迅的自嘲诗。这天，鲁迅在日记里写下：“达夫赏饭，闲人打油，偷得半联，凑成一律以请云云。”
鲁迅将自己特别喜欢目莲戏的嗜好也讲给郁达夫听。他几次同郁达夫说，目莲戏的穿插，实在有许许多多的幽默味。有一次说到借鞋袜靴子去赴宴会的人，到了人来向他索还，只剩一件大衫在身上的时候，这一位老兄就装作肚皮痛，以两手按着腹部，口叫着我肚皮痛杀哉，将身体伏矮了些，于是长衫就盖到了脚部以遮掩过去的一段，他还照样的做出来给郁达夫看过。说这段话时，郁达夫和在座的川岛大笑不止。
郁达夫说，杭州的特产有两样，一是夏天的蚊子，一是庙里的和尚。据郁达夫在西湖边上的观察，每隔五分钟，就可以看到“缫衣秃顶的佛门子弟，漫然阔步在许多摩登士女的中间”。
郁达夫喜欢吃荔枝，刚好西禅寺的“十八娘”闻名天下，便邀了几个朋友一起去。他吃的荔枝最多，边吃边吟诗，好不潇洒。当家和尚访知有郁达夫在座，马上叫小和尚捧出文房四宝，请他题诗。他推辞说：“面对这么好的荔枝，尽量吃还来不及，哪有心情吟诗写字？”但经不住当家僧的热诚，就只见他略思片刻，就在一张宣纸上不停笔写了四句：“鹓雏腐鼠漫相猜，世事困人百念灰。陈紫方红供大嚼，此行真为荔枝来。”可是就在这一天的归途中，达夫腹痛不止，回家急请医生，偏偏是星期日，医院停诊，正闹得没办法。邻居问：“是不是吃荔枝了？”急忙拿来一小碟酱油让达夫喝下，奇怪，不久肚子就不痛也不胀了。以后他逢人便说：“古人说：尽信书不如无书。果是真理。”
有一次，郁达夫见福州的饼很特别，好端端的在中间凿了一个孔。问了商家才知道原来叫“光饼”。据说明代戚继光带三千山东子弟兵到福州追歼倭寇，便发明这种饼，可穿绳子，挂在脖子上，作为行军时的干粮。福州人民感谢他，用“光”字来纪念他。郁达夫觉得这“光饼”很有意义，当天就买了很多，用绳子串起来，像当年戚家军一样，套在脖子上，一个人跑到于山戚公祠去，凭吊戚继光，还在祠壁上题了一首七言绝诗：“举世尽闻不抵抗，输他少保姓名扬。四百年来陵谷变，而今麦饼尚称光。”
有一次，郁达夫请一位军界的朋友到饭馆吃饭，吃完饭结账的时候，饭馆的服务员到他们饭桌边收钱，只见郁达夫竟然从鞋垫底下拍出几张钞票交给了服务员！这个举动着实让他的朋友感到意外，他的朋友诧异地问：“郁兄，你怎么把钱放在鞋子里呀？”郁达夫笑笑说：“这玩意儿过去一直压迫我，现在我也要压迫它！”
郁达夫因手头拮据，对几百元的工资不太满意，有次拿到工资，把钱撒在地板上，用脚狠狠地踩。房东老太太看了，直跟人说，真是发神经了！
郁达夫旅闽时，曾访弘一大法师，法师赠以著作数种。及别时，弘一法师谓郁达夫云：“你与佛无缘，还是做你愿做的事吧！”
郁达夫的浪漫与“放荡”不羁，给他的形象也造成了负面影响，1935年夏，郁达夫准备应聘暨南大学教授，教育部长王世杰就以他“生活浪漫，不足为人师”为理由阻止暨南大学对他的聘任。王世杰的阻拦虽然还可能包含其他意图，但是他的这一理由在传统文化很深的中国还是很有力量的。1936年，福建省政府主席本来相当器重郁达夫的才华，很想重用他，打算让他担任省教育厅长的职务。于是招他去面谈，两三次交谈之后，陈仪觉得郁达夫无论说话还是行动，都“随随便便，不受约束”，看来他“不是一个稳重老练的行政官吏的适当人选”。
流亡期间，画家刘海粟在《回忆诗人郁达夫》说：
“我们来到花园中，坐在草坪上，天空群星闪烁，万里无云。悠英（应该是郁最后的情人李筱英）在树上，哼着一支英文歌。
静默了几分钟，天上，一只孤雁唳了一声。
‘这雁倒像我。’达夫动感情了：‘沫若、寿昌都在重庆忙抗战，仿吾去了陕北，只有我成了孤雁南飞。这些兄弟们何日相见呢。’”
1942年2月，郁达夫在乘小电艇逃往印尼的前一晚，曾在怡和轩住宿。当时，潘受也同在怡和轩内，他还把自己原本备用来逃生的电艇慷慨地借给郁达夫逃生。据说，郁达夫当时带在身边的行李只有一只小皮箱，箱内放着白兰地一瓶、牛肉干一包、《诗韵》一部，准备在船上喝酒写诗。在逃亡中还有如此闲情逸致，想必也只有郁达夫一人了。
【性情】
郁达夫从不隐藏自己的性情。对于他大胆的自我暴露似的“真”，郭沫若曾经这样形容：“对于深藏在千百万年的背甲里面的士大夫的虚伪，完全是一种暴风雨的闪击，把一些假道学、假才子们震惊得至于狂怒了。”
郁达夫也曾在《沉沦》中捶胸顿足地大声呼喊：“知识我也不要，名誉我也不要……我所要求的就是爱情，若有一个妇人，无论她是美是丑，能真心实意地爱我，我也愿意为她死的：我所要求的就是异性的爱情！”
郁达夫敏感。在北伐胜利的欢呼声中，他就怀疑革命投机者引发左右的攻击。国共分裂后，他又直率地对美国记者和好友徐志摩说：“我不是战士，只是作家。”这使他遭受更猛烈的攻讦，革命同志鄙薄他乃至反目，左联除了他的名，他长时间被扣上“革命意志消衰”的帽子。
郁达夫在外是懦弱的受难者，在内是凶恶的暴君，他每在外受到侮辱，回家必向孙荃发泄，百般挑剔，辱骂孙荃是在家“坐食”的“行尸”。“你究竟是为了什么目的生存在这个世上的呀？”随后又责怪自己，抚慰孙荃，详细解释发怒的原因，孙荃听了反替他抱不平，为他痛哭，直到两人相抱而泣，这就是郁达夫说的“悲剧的出生”。其未足月的龙儿出生了，他称龙儿是两人“悲哀的继承者，一看就觉得是一个神经质的薄命的相儿”。称其出生“多此一举”。龙儿果然早夭。
郁达夫总是觉得对不起他的第一位夫人孙荃，他押卖了她送的定情信物，为求淫乐。回头一边想念孙荃，一边抱头痛哭，“我的女人，我不爱而又不得不爱的女人！我终觉对你不起！”就是在朋友面前，穿了件孙荃从家里寄来的新长衫时，也会泪水蒙蒙对人家说“她对我很好”。
在自己最困难的时候，嫌弃孙荃和儿子是累赘。孙荃自愿回老家，送走之后，读着孙荃的来信，又禁不住泪眼滔滔起来，一边又自责“我累你不少了”。
