开始是路易，接着是热罗姆，然后是约瑟夫在西班牙马德里闹出的乱子。拿破仑的兄弟们给他带来了太多的麻烦。拿破仑不得不给他倔强的弟弟回信。事实上，自1804年春天吕西安离开法国、自我放逐之后，事情已经有了不少改变。当吕西安公开表示拒绝服从拿破仑，绝不抛弃他的妻子时，拿破仑家族的几乎所有成员都站在他一边；“梅耶夫人”莱蒂齐亚宁愿留在意大利和吕西安一起过日子，而不愿回法国参加拿破仑的加冕典礼。然而到了1810年的春天，由于拿破仑和哈布斯堡联姻，波拿巴家族的态度有了180度的大转变，就连母亲和哥哥约瑟夫也劝吕西安遵从拿破仑的旨意了。拿破仑从一开始就反对吕西安的这段婚姻，尽管如此，他还是大度地承认吕西安的孩子是合法的，并享有继承权。“你的、你的家庭、我的、甚至于我们大家，所有人的处境的好坏，全看你的态度了。”母亲莱蒂齐亚·波拿巴在拿破仑的授意下，向吕西安恳求道，“我的儿子，那不再是个简单的逻辑问题了。你说什么也不能改变我的主意了……这是我最后一次求你了。能让我完全欣慰的事只有一件，就是看到你能够和皇帝之间的误会完全消除——彻底地和解。”
吕西安在听了母亲的这番话后思考良久：连一直站在他这边的母亲也要他同妻子离婚并将孩子留在自己身边；拿破仑自1804年起给他施加的压力是沉重的。虽然吕西安现在已经拥有了巨大的独立财产，还拥有了罗马亲王的头衔，但他的财富和头衔都不值得羡慕，因为随着法国占领罗马教皇领地将其并入了法国版图，吕西安成了在自己国土上的囚犯，没有法国在该地区的军事总督的许可，他不得擅自离开——就连到最近的城镇或是到他位于其他地方的庄园别墅去，也必须经过批准。
因此，在4月初，吕西安最后给他的哥哥拿破仑写了一封信，就连受尽惊吓的亚历山德鲁也恳求拿破仑道：“陛下，我给您跪下了。要我离开吕西安是不可能的，我们已经公开地离婚了，但私下里能不能让我们继续待在一起呢？我们是彼此相属于的，只有死亡才能将我们分开……陛下，求您发发慈悲允许我们在帝国某个僻静的角落平静地生活在一起吧！”但拿破仑的决定是不会改变的。“我不想为难她，”拿破仑解释道，“我之所以这样决定完全是出于政治上的原因。”随后，拿破仑派人去找吕西安，告诉他最后的期限，但吕西安仍在犹豫。“我不能……不能背叛我自己，不能同一个为我生下4个孩子的女人离婚……如果一定要强迫我这么做的话，我只好去美洲了。”但他补充道，如果可能的话他愿意和拿破仑一起留在欧洲。“身在帝国，我也许会对我的哥哥有所帮助。为什么不允许我放弃继承权，成为一介平民呢？这样我的妻子可以高枕无忧，而我也可以效忠陛下了呀！”他最后说，“如果这些都不可能的话，那么远走美洲也许是惟一的解决办法了。”
“我了解法国，”拿破仑对此的反应是，“我比其他任何人都了解她需要什么。所有的人都会因为我——他们的皇帝陛下——有一个其前夫因债务而破产的丢人的弟媳妇而蒙受羞辱。”他指的是亚历山德鲁因债务而逃亡的第一个丈夫，只是此时拿破仑完全忘记了波拿巴家族也是早年从科西嘉逃亡到法国的。
随他去吧！生死由他吧！我知道我必须干什么，我知道政治要求我做什么？吕西安恳求我的仁慈。而我的仁慈则是，只要他放弃那个破产者的女人，我就会不计前嫌并眷顾到他的孩子……然而，他的所作所为令人齿寒。吕西安只能以一个尊贵的亲王身份留在帝国为我服务，而他的孩子也只能以我皇室王储的身份留在帝国，否则一切都行不通。但吕西安并不接受我给他安排的一切——那好，一切都结束了！告诉我的家族，由他去吧！永远不要再在我面前提起此事。
6月，当吕西安接到皇室不承认他和妻子婚姻的最后通牒后，他私下变卖了全部房产、上百幅名画、雕塑作品和珍珠财宝，连夜赶到罗马附近的契维塔韦基亚港——在那儿，他雇了一艘前往马萨诸塞州的小船。吕西安确实打算去美国，但要离开意大利，他还需要控制着意大利水域、西西里、马耳他和直布罗陀海峡的法国人、萨丁王和英国人的所有护照才行。8月7日，吕西安和亚历山德鲁取得了法国护照；当天下午4点，这对夫妇以及他们的孩子出航，在到达沙第那的科格莱里港后希望得到英国的官方许可令。8月22日，由于英国官方的许可迟迟未下，他们一家人挤在小船的船舱里，不得已决定偷渡离去；但很快就被英国皇家海军拦截并被押解到马耳他，成了英国驻马耳他总督亨利·奥克斯勋爵的囚犯。由于前往君士坦丁堡上任的英国大使当时正好路过意大利水域，通过他的帮助，吕西安直接向英国外交秘书韦尔斯利侯爵（即阿瑟·韦尔斯利爵士的哥哥）请求允许出海。
