同时，热罗姆悄悄地准备自己的婚事。12月25日，皮雄收到一封信：“先生，在热罗姆·波拿巴的要求下，我荣幸地通知您，他与帕特森的婚礼已于昨夜举行……”信上要求再支援几千美金的现金。
参加婚礼的只有少数几个证婚人，包括伊丽落白·帕特森的父母、她的哥哥罗伯特和巴尔的摩市市长。婚后，罗伯特亲自到巴黎向波拿巴家族送交结婚的文件，受到了吕西安的友好接待——他正在准备的第二次婚姻遭到了拿破仑的强烈反对。事实上，吕西安、约瑟夫、路易和太夫人都对热罗姆的婚姻给予了良好的祝愿。只有拿破仑不同意。他希望自己的兄弟姐妹和欧洲最有势力的贵族联姻以建立他自己新的王朝，结果却总是事与愿违，不得不接受“旅店老板的儿子”为卡罗琳的丈夫，而吕西安则娶了一个 “淫荡的女人”为妻；而热罗姆的妻子不仅是个平民的女儿，而且是个“新教徒”。“告诉帕特森先生，我们的母亲和我们的整个家庭都一致同意这件婚事。”吕西安写道，“第一执政目前不同意我们的意见，但他必须考虑整个家庭的意见……我们大家对这件婚事都感到非常高兴和骄傲。”
“我希望你同意我的选择，”热罗姆给家里写信道，“你知道，我亲爱的母亲，我们必须服从命运的安排，而命运是既不能避免也不能预见的……我期待着将我的妻子带回来让您看看，现随信附上她的肖像一幅……”
4月20日，德克里斯在拿破仑的授意下命令热罗姆登上前往纽约接他的快帆船。拿破仑拒绝让帕特森随热罗姆一同回到法国。“如果他将她带回来，她将不能踏上法国的土地。如果他单独回来，我将饶恕他的过错。”
1804年6月1日，性子比拿破仑和吕西安都要暴躁和固执的热罗姆宣布拒绝登上任何法国船只。外交部长塔列朗通知他：他的婚姻将得不到法国的承认。拿破仑还亲自在《箴言报》上撰文声明热罗姆“只是找了个情妇而并没有结婚”。
热罗姆相信只要他的哥哥见到他的妻子，就会心软并接受她作为家庭的一员，拿破仑对吕西安的第一个妻子（工人阶级出身）就是这样的。于是，这对年轻的夫妻雇了一艘双桅横帆船，满载着结婚礼物和价值数万美金的黄金于1804年10月25日起航回法国，决定赶回来参加拿破仑的加冕礼。可是，他们刚刚离开港口，帆船就遇到强风暴而沉没，全船的财宝沉入海底，热罗姆和帕特森侥幸死里逃生。他们又另外雇了一艘船，当他们即将抵达法兰西海港时，被英国军舰截住——他们终于没有能够参加拿破仑的加冕典礼。
决心破坏这桩婚事的皇帝拿破仑于1805年3月2日和11日分别签发了致“皇帝的民事官”的命令，严禁他们在法国登记婚姻或重新举行婚礼，任何民事官员违背了这条法令将判处6个月的监禁。他还宣布拿破仑家族的任何“亲王”如果发生类似的“非法”婚姻，将被从家族和国家驱逐出去。
辗转回到巴尔的摩的备受挫折的新婚夫妻于1805年3月3日又登上了一艘由威廉·帕特森购买的双桅帆船驶向法国。4月8日抵达里斯本时，怀孕的伊丽莎白得到官方的通知说她不能踏上欧洲的土地——拿破仑的手一直伸到了里斯本。她只得驶向阿姆斯特丹，狂怒的热罗姆于3月17日出发到米兰（拿破仑已经在那里自封为“意大利国王”）。热罗姆告诉焦急的伊丽莎白他不会有什么事的：“我的好妻子，对你的丈夫充满信心吧。我们最坏的结果不外是在外国的什么地方安静地隐居下来……我会尽一切努力的。”
皇帝拿破仑给在意大利的爱奢侈的热罗姆发布了一道严厉的最后通牒：如果热罗姆继续违抗他的意旨，拿破仑将不再为债台高筑的他偿还其债务并将剥夺他的一切封号、头衔和继承权。热罗姆将不再能从法国或是从他家族的任何成员手里得到一分钱。他将不能生活在法国或法国控制下的国家，包括荷兰、比利时、法兰西、莱茵河以西的地区、意大利、西班牙和葡萄牙。对于法兰西皇帝来说，热罗姆将不复存在。但如果他能够解除这件婚事，他将会得到头衔、荣华富贵，最后是继承皇冠。
5月6日，热罗姆·波拿巴同意抛弃他的妻子，不再见她，并命令她不得姓波拿巴。“我亲爱的弟弟，”高兴的哥哥回答道，“你的悔悟解除了你的一切过错……你的婚姻在你自己的请求之下被解除了，我愿意给你我的友谊。”
伊丽莎白的苦境却没有结束。在法国占领的阿姆斯特丹， 她的登陆遭到了拒绝，身怀六甲的她只得渡过海峡来到多佛，在海上漂泊了将近14个星期之后，5月18日终于能够在那里踏上陆地了。1805年7月7日，热罗姆和伊丽莎白的孩子在英国诞生了。孩子的名字叫热罗姆·伊丽莎白·波拿巴。此后不久，母亲就带着婴儿回到了美国的娘家。
