正如前文所述，李白于唐玄宗开元十四年（公元726年）成婚，时年约26岁，他娶的是湖北安陆的许氏夫人，其祖父为唐高宗时的宰相。李白和她在一起生活的时间最长，达10年之久。许氏为李白生了一男一女，女儿平阳，幼时天真活泼，长大后聪慧知礼，可惜出嫁不久就死了。儿子伯禽聪明机敏，知书能文，但是一生都在自耕自读，始终没有进入仕途。
李白后来在山东又纳一女子为妾，生子名叫颇黎，史书中关于他的行迹没有留下只言片语。
李白有一个孙子、两个孙女，均为伯禽的子女。其孙早年效祖父浪游之举，离家出走，不知所终。
关于李白两个孙女的下落，据史料记载，李白死后58年的元和十五年（公元820年），李白生前好友范伦之子范传正借职务之便，会同当涂县令经过三四年的访查，才终于找到了李白的两个孙女，她们都在当涂嫁给了当地的农民。虽然都成了农妇，但她们“进退娴雅，应对详谛，且祖德如在，儒风宛然”。
这两姐妹嫁给当地农民后，没有田地、桑蚕谋生，生活非常窘困。虽然祖父李白享有盛誉，但她们以目前的身份、地位、境况，实在羞于向当地官员求告，担心辱没了祖上的声誉。
范传正见她们的穷苦之状实在可怜，又念及她们是李白的后人，便极力劝二女改嫁有钱有势的士族。可是她们却丝毫不为所动，表示不愿贪图富贵，否则无颜去见九泉之下的祖父。她们只是提出了一个要求，即按照李白生前的遗愿，为李白迁葬青山。
范传正听了以后很感动，于是同当涂县令一起将李白墓迁至县东南郊7.5千米的青山西麓（今当涂县谷村）。还为二女免除了一些徭役和杂役，减轻了一些经济上的负担。
李白的后代在艰难困厄之中“不屈己，不干人”，“不汲汲于富贵，不戚戚于贫贱”，始终保持着独立的人格，也是一种“太白遗风”。
