平时，胡茵梦不爱穿拖鞋，喜欢光着脚在地板上走路。李敖一看到胡的脚丫脚板是黑的，就很反感，指责胡茵梦不讲卫生，没有女人味。
据胡茵梦说，有一回，她与李敖吵了起来，李敖一气之下，拿出一把剪刀，将她刚买回的一件古装剪成了两半。为了制止李敖再发大火，她连忙冲过去抢下李敖手中的剪刀，再将剪刀尖对准自己的心脏，做出要自杀的样子。李敖见状，又紧张又害怕，再不敢发怒了。胡茵梦乘李敖软了的机会，丢下剪刀，光着脚冲到街上，然后拦一出租车回到了娘家。
胡茵梦在她的自传《死亡与童女之舞》中还说，她与李敖同居后，夫妻生活也不和谐。
她说，她感觉不到他内心深处的爱，在他面前展现忘我的爱，对他而言是一件羞耻的事，如同许多在情感上未开发的男性一样，性带给他的快感仅限于征服。其实，那是一种单向的需求，他需要女人完全臣服于他，只要他的掌控欲和征服欲能得到满足，他对于那个关系的评价就很高。
她还说："每当我期望和李敖达到合一的境地时，却总是发现他仰望天花板上的那一片象征"花花公子"的镜子，很认真地欣赏着自己的"骑术"，当时我心中的失落，是可想而知的。白天他写作，我喜欢坐在他的大腿上和他撒娇，逗他开心；晚上入睡时，我喜欢搂着他相拥而眠。这样的示爱举动不是单方面的事，它需要流畅的回忆和共鸣，但李敖在示爱上保留而腼腆。你别看他在回忆录中把自己写成情圣，甚至开放到展示性器官的程度，其实所有'夸大'的背后，却潜存着一个相反的东西。
其三，为肖孟能与李敖的官司作伪证。70年代未，80年代初，李敖与肖孟能为台北天母的静庐房产发生纠纷，肖孟能将李敖告到法院。由于胡茵梦在这场官司中为肖孟能说话、作伪证，致使李敖吃亏不小。
上述3个原因中，第三个原因又是最重要的原因。
李敖认为，女人最可贵的品质是辨别是非、善恶的能力和羞耻心，胡茵梦不具备这两种品质，不够格做他的老婆。
他还认为，信仰不一，道路不同的夫妻，不可能白头到老，更难有幸福。经过慎重考虑，他决定休妻。
1980年8月28日下午，李敖在台北大陆大楼举行记者招待会，并散发一份"离婚的书面声明"，声明全文如下：
一、罗马凯撒大帝在被朋友和敌人行刺的时候，他武功过人，拔剑抵抗。但他
发现在攻击他的人群里，有他心爱的人布鲁塔斯的时候，他对布鲁塔斯说："怎么
还有你，布鲁塔斯？"于是，他宁愿被杀，不再抵抗。
二、胡茵梦是我心爱的人，对她，我不抵抗。
三、我现在宣布我同胡茵梦离婚。对这一婚姻的失败，错全在我，胡茵梦没
错。
四、我现在签好离婚文件，请原来的证婚人孟祥柯（即孟绝子）先生送请胡
茵梦签字。
五、由于我的离去，我祝福胡茵梦永远美丽，不再哀悉。
李敖
1980年8月28日
当天，胡茵梦也眼含热泪，写了一个祝李敖"好自为之"的回应声明。
李敖在《李敖快意恩仇录》一书中，对他当年与胡茵梦的离婚经过作了详细叙述，他说："我先请来原始的证婚人孟绝子和高信疆，表示我今天下午就离婚，'解铃还需系铃人'，还是麻烦你们两位在离婚证书上签个字。离婚证书上，我讨厌一般的套语，我只写上'协议离婚'四个字，就告完成。孟绝子签了字，可是高信疆却一再推托，当我得知真正的原因是高信疆太传统、不愿在离婚证书上签字以后，我也不好免强他，就带着我和孟绝子先签好的离婚的证书，一边请人送给胡茵梦（因为我不想和她再见面了），一边匆匆赶赴忠孝东路大陆餐厅主持记者招待会，宣布离婚。这时候，胡茵梦在她家得到我通知离婚的消息，大感意外，手拿离婚证书，约来律师李永然研究一番。李永然说最好请李敖过来一下。于是，胡茵梦打电话到大陆餐厅找我，说她很难过，不过既然离婚，她也接受。在手续上有需面谈之处，请我过去，我同意了。记者得知后，蜂拥直赶胡茵梦家。胡茵梦顿时换上黑底素服，以迎记者。我在路上，特别绕道到花店，下车买了9杂玫瑰花，再上车去胡茵梦家。我到的时候，整个客厅已挤满了记者，我把花送给了胡茵梦，她为之泪下，与我相拥。胡茵梦表示，律师说你写的离婚证书，文字太简略了，最好能照一般写，写上些男婚女嫁各不相干等语，我懒得坚持，就说可以。于是，胡茵梦亲笔写离婚书两张，然后是请证人签字。胡茵梦表示，律师说一个不够，孟绝子以外，希望再找一位签字，我说高信疆不便签字，你找证人好了。于是，胡茵梦当场向记者们问，有谁愿见证一下。大家面面相观一阵子，忽然人群中冒出一记者，说我愿意。胡茵梦同意了。……胡茵梦生平无不良嗜好，独好"怪物"，任何正常的，她都不喜欢，任何邪门的，他都偏爱，什么怪爱什么，不一定要大，一块歪七竖八的汉玉，一条封尘多年的织片，一瓶闻所未闻的香水，一对密宗气息的耳环，……都可使她因'小怪'而'大惊'，而要百计千方，得之而后快，然后休息24小时，再去作怪。作怪其实不要紧，甚至有它可取之处，毛病不在作怪，而在不知天高地厚。整天吃男人、喝男人、花男人的钱，戴男人的玉，坐男人的车，抄男人的文章出书，结果却不辩是非，反过头来与男人虚荣争胜或以伪证方式'大义灭亲'，争自己人的风，还貌似清高，大谈人生大道理，这不是不知天高地厚，令人恶心的卑鄙小人吗？"
他还在《李敖回忆录》中抨击胡茵梦说："胡茵梦一生力争上游，不同流俗，可惜缺乏真知，走火入魔，终落得脸蛋满分，大脑零蛋。"
1980年8月29日，胡茵梦又找李敖哭诉说，她是很爱李敖的。前几天在记者会上骂他的那些话，是乱说乱写，没有斟酌，对他有些过份了。
胡茵梦没有认识到，自己是名人，言论的份量很重。她的做法对李敖的伤害太大，李敖当然不能原谅她，也不会相信她的眼泪。
有意思的是，胡茵梦被李敖抛弃后，多次公开赞扬李敖在记者招待会上散发的"离婚声明"写得很好，说他的"文笔优美雄浑"。对此，李敖说："大概没有发现我的整个过程都是'大男人主义'的气魄。正因为是'大男人主义'，所以出口、下笔、送花、签字，都是豁然大度，包容'大女人主义'的离谱行为。后来人多赞美说李敖真会离婚，可谓人民的眼睛是雪亮的。"
