嫁给李白这样的男人做妻子，实在是女人的不幸。李白以追求理想为借口，长年累月在外面游山玩水，饮酒作乐；家里有田地，他不管不顾；他还生性风流，到处寻欢作乐。李白的一生，除了做成诗人，可以说是一事无成。
李白一生有过四段婚姻生活。李白在27岁时，娶了安陆（在今湖北省）的许氏。许氏出身于名门望族，她的祖父许圉师曾经做过左丞相。许圉师的父亲许绍跟唐高祖李渊是同窗，后来被封为安陆郡公。许圉师因为小儿子许自然打猎时杀了人而遭到贬谪。但是，百年之间，许家一直是很兴旺的。
李白跟许氏大约生活了十年，生有一女一子。女儿名叫平阳，儿子小名为明月奴，后改名为伯禽。李白后来带着儿女移居东鲁（今山东济宁），诗文之中再也没有出现许氏的身影。有的人认为许氏病故了，有的人认为是婚变，至今还没有定论。
李白在与许氏共同生活期间，大部分时间过着隐居的生活。他们住在安陆白兆山桃花岩，造了石头房子，开垦出山田。耕种之余，每天读书，时常与朋友一起赋诗、饮酒。估计前半段时间，夫妻的关系还是可以的。后半段时间，李白忽然频繁离家外出，有时候是为了寻找做官机会，有时候则是为了寻访名胜古迹。这时，李白夫妻的关系可能有了变化。
这一段婚姻，最让李白烦恼的是入赘一事。入赘，是穷人家孩子的一种不得已的出路。在中国文化传统中一直被认为是不光彩的事情。从李白的内心讲，显然是不情愿的。
这种烦恼心思，李白在他的一些诗文中有所流露。例如，《少年行》一诗的“遮莫姻亲连帝城，不如当身自簪缨”，《邺中赠王大人》一诗中的“投躯寄天下，长啸寻英豪”、“富贵吾自取，建功及春荣”等诗句，都不难品味出李白的苦恼心情。
李白的家族，大部分定居在山东。许氏病故之后，李白为了生计，带着儿女来到东鲁投靠亲友。到了山东不久，李白一位名叫李冽的堂弟（当时做着兖州长官佐副的官职）帮他续娶了一位刘姓妇人。
这位刘姓妇人不是浪漫之人，她对李白的诗完全不感兴趣，对李白整天只知道饮酒作诗、高谈阔论而不懂得挣钱养家，很快就感到了不满乃至厌恶，二人的关系最终以离婚了结。
跟刘氏的这一段婚姻生活，李白是很郁闷的。他的远大理想，他的诗酒山水之乐，一定都曾经遭受刘氏无数次的数落、嘲笑和痛骂——后来他在诗中把刘氏比作汉人朱买臣妻子，足以证明。这一时期，李白的痛苦也曾多次在诗篇中流露出来。
天宝元年（公元742年），唐玄宗李隆基征召李白入京，李白以为从此一去荣华富贵唾手可得，于是借着一首诗，发泄了胸中积蓄的恶气。
李白的第三个妻子，原来是李白的一个邻家女子，可能是李白看上她的姿色之后纳为妾的。之所以是纳妾，而不是娶为正室，可能是因为这位女子只是普通民女，按照唐律，属于士大夫阶层的李白不得将其娶为妻子。
这位不曾留下姓氏的妾，是一直跟着李白生活，还是离婚、去世了，我们都不得而知。我们只知道，她给李白生了一个儿子，取名颇黎。
李白的最后一任妻子是前宰相宗楚客的孙女，他们是在宋州（今河南商丘一带）结的婚，时间应是天宝十二年（公元753年）之前，当时李白大约50岁。
宗氏是一位知书达理的妇人，李白对她是很有感情。李白曾经写给宗氏很多诗歌体书信和他代替妻子写给自己的诗歌，仅天宝十四年就有《秋浦寄内》《自代内赠》《秋浦感主人寄内》等，诗中饱含着对宗氏的思念之情。
宗氏基本上是与李白偕老了。“安史之乱”期间，两人离多聚少。李白因为曾从永王李璘，被关进了监狱，定为叛逆罪，长流夜郎。其间，宗氏利用其家族关系设法搭救李白。李白被赦免返回之后，两人曾经重逢聚首。
李白61岁的时候，曾经亲自送宗氏到庐山拜访尼姑。宗氏也是狂热的道教信徒，两人都向往得道成仙，可谓志同道合。李白与宗氏在一起的十多年时间，应该是很美满的。
