他们见李敖坚决不去，两人便自行回到世界大厦去了。胡茵梦因怄李敖，一连几天不回李敖家里。
过了几天，李敖想到这样不是办法。他还觉得，这个矛盾是自己不去看岳母娘引起的，干脆低个头算了。于是，他打电话与胡茵梦谈判：他带一些礼物到世界大厦的胡家来，向胡星妈道歉，并让她大骂1个小时，骂什么话都可以。1小时后，胡茵梦必须跟他返回金兰大厦。
胡茵梦一想，依李敖的个性，低这个头已很不错了，他开的这个条件，估计其母也会同意的。她在电话中马上回复说："可以呀，我答应你这个条件。"
过了不久，李敖上门了。
胡星妈一见李敖，怒不可遏，大骂道："你这个没有人性的东西，还有意思上门来！我有什么对不起你呀？你为什么把我不当人……？！"
胡星妈骂了一小时，李敖见时间已到，用眼神示意胡茵梦赶快走，他再不能呆在这里挨骂了。
胡茵梦考虑李敖上门了，妈妈也骂够了，当即跟随李敖回到了金兰大厦。
当时，胡茵梦很想与李敖做个好家，并能白头到老。没有料到，她的思维与处理问题的方式，激怒了李敖，使李敖对这场婚姻极其失望。
他们结婚那天，李敖就感到两人关系不可能长久。因为，他在政治上与胡茵梦不是一条线，文化及个性差异也很大。所以，5月6日晚上，他就对证婚人高信疆说："这场婚姻不会超过一年。"
高信疆听了，吃惊地问道："既然如此，何必结婚呢？"
李敖笑着说："大概我和胡茵梦都好胜，总要把没做完的事做完吧。"
有一天，胡茵梦到庙里去烧香，问名僧人林云："我与李敖的婚姻是否长久？"
林云仔细看了她的相，对她说："你与李敖的婚姻只有5年。"
胡茵梦一听，心里很不舒服，连忙问林云："为什么只有5年？"
林云说："李敖一向喜欢年轻女人，那时候，你们的婚姻就出问题了。"
"那有什么办法解决这个问题呢？"
林云告诉她："办法还是有。比如，你现在就在卧床四角各放铜钱一枚，这样，婚姻就可长久了。"
林云还向胡茵梦告诉了放铜钱的方法。
胡茵梦从庙里回来后，要求在床四角放铜钱。李敖对此很反感，批评她说："我不信那些鬼话，我信科学。你怎么可以这样无知？这样迷信那些妖僧？"
胡茵梦见丈夫不同意她放铜钱，很生气地说："不放算了。从这件事，我看出你不是真正地爱我！"
李敖没有理她。事后，李敖一想起这件事，就批评胡茵梦说："她为文化水平所限，无法提升到从博大高明的着眼点来欣赏李敖这种男子汉的坚定和不肯牺牲原则的精神，是很可惜的。"
其实，李敖并不是不喜欢胡茵梦，不然，他们不会结婚。有一次，李敖将一只暹罗猫抱回来，此猫是暹罗猫中的上品，胡茵梦此时刚洗完澡，她得知丈夫抱暹罗猫回来了，非常高兴，连内衣也不穿，裸着身子出来迎接，并把猫抱到怀里亲了又亲。李敖见此情景，感觉甚美，站在旁边细细欣赏这道独特的"风景"。直到90年代中期，李敖还未忘记此景，他说："这是我一生中，看到最美的人猫画面。"
李敖与胡茵梦结婚的第三天深夜，一个自称是电视台的林导播打电话找胡茵梦，电话被李敖接住。李敖问对方："现在是深夜3点了，找她干什么？"
对方说："不错，现在是深夜3点。你告诉胡茵梦，明天我就要公布胡茵梦跟我在床上的照片。"
对方的恶作剧，显然不能动摇李敖对胡茵梦的爱，他马上回击道："林导播啊，胡茵梦在跟我结婚前，就开过一张与她好过的男人名单，那名单里没有你，可见是冒充的。如果你有照片，那你就公布好了。"
对方没有料到李敖会来这一着。他再无话可说，只好将话筒放下了。
尽管李敖很喜欢胡茵梦，他们还是出现了麻烦，结果导致双方反目离婚。
他们关系发生破裂的原因主要有三：
其一，国民党不断打压胡茵梦。前面已经提到，胡茵梦是国民党员，而且又是党营事业单位--中央电影公司的职员，她坚持要与李敖结婚，为国民党组织所不允。国民党认为，李敖受老师殷海光的影响，长期在台湾反国民党、蒋介石，胡茵梦与这样一个对国民党、蒋介石不满的"自由主义"者结婚，是丧失党性原则的行为，是很严重的错误。
于是，国民党指使中央电影公司打压、封闭她，不要她拍片，也不通知她参加公司的任何活动。
过去，台湾当局每年一度的电影最高奖--金马奖的女主持人，大多由胡茵梦担任，胡茵梦与李敖结婚后，国民党以她英文不好为由，不要她当主持人，片子也不要她拍，为此，胡茵梦感到很伤心。
她以演艺走红，又靠拍片为生，加上爱出风头，国民党的中央电影公司不要她做大型文化活动的主持人，不要她拍片，她难以忍受，对与李敖结婚开始有些后悔，并常在家里发牢骚，说怪话。她的心思，被李敖看出。李敖一针见血地说："胡茵梦是电影明星，明星岂能长期承受被封杀、被泠落之感？于是日久愁生，隐成我们分手的伏机。"
其二，性格差异太大。李敖做任何事情，都比较讲究，又爱细细考虑，胡茵梦在这方面却与他完全相反。据胡茵梦说，因性格不同，他们经常为一些细小的事情发生争吵，甚至打架。
有一次，胡茵梦将电冰箱里的冷冻排骨拿出来熬汤时，因不懂得要先化冰，就将排骨往开水里面丢。正在这时，李敖到厨房来了。他发现胡茵梦将未解冻的排骨丢进了锅里，大吼道："你怎么这样差劲，这样没有常识？冷冻排骨不解冻往开水里丢，肉就老得无法吃了！你这个没常识的大蠢蛋！"
胡茵梦被李敖吼出了泪水。她受不了，跑到卧室拿了几件衣服跑回娘家去了。
又有一次，胡茵梦将洗干净的切菜板挂在纱窗上晾，李敖发觉后，又大骂胡茵梦："你这个家伙做事不动脑筋想，切菜板那么重，挂在纱窗上掉下去砸了人家的头，我们赔得起吗？"
胡茵梦又被李敖骂哭了，而且气得再次跑回了娘家。后来，李敖亲自去接，她才回来。
