但是，证据并未证实这种论点。罗伯特·李在10月1日建议以一对一交换拘禁在弗吉尼亚的俘虏时，格兰特暂时接受了部分交换，同时要求罗伯特·李保证把黑人士兵包括在内。罗伯特·李答复道：“我们认为，黑人归我方公民所有，不被当作交换对象，也不包括在我的建议范围以内。”格兰特为了结此事而发表声明：联邦政府“有义务维护全体从军人员因入伍而得到的权利”，因此，是罗伯特·李拒绝给黑人以这些权利，才“使我拒绝进行你所要求的这种交换”。到敌对双方的海军部长于1864年10月拟出交换被俘水兵的协议时，林肯政府还坚持把黑人包括在内——后来就真的把黑人包括进去了。这是在交换战俘的僵局中第一次真正的突破。在1864年-1865年冬，双方不分肤色，交换了数千名伤病战俘。1865年1月，邦联的交换战俘代表建议交换“全部”俘虏，联邦政府接受了这一建议。邦联打算把黑奴编入其部队，因而继续拒绝交换黑人俘虏就会成为一个不合时宜的错误，于是他们就悄悄地放弃了这一立场。在1865年2月至3月间，交换工作取得了进展，每天几达1,000人——到战争于4月结束时，剩下的俘虏也释放完了。
林肯再次当选
1864年选举是就战争和解放奴隶举行的一次公民投票。没有哪个人能够肯定民主党获胜将会形成何种结局：邦联独立；恢复保留蓄奴制的联邦；抑或别的什么东西。但是，共和党获胜的结局则不容置疑：蓄奴制的灭亡和继续进行战争，直至南部投降为止。了解这一点的选民们于11月8日前去投票，选举团以212票对21票的多数再次选举了林肯。麦克莱伦只在新泽西州、肯塔基州以及特拉华州获胜。林肯得到55%的普选票，这个多数比他四年前在这些州得到的48%的普选票有大幅度的增长。只有一个自由州(新泽西州)在1864年选举了民主党州长。共和党人控制了他们在1862年失去的全部州议会，并不同寻常地取得了下届众议院185席中的145席(共和党在参议院的优势为42比10)。一个政党在国会选举中以如此一面倒的胜利，这在美国历史上是不多见的。共和党在1860年主要得益于士兵选票(此问题将在本节后面论述)以及边疆各州的选票。在这些边疆州，部队排除了分离主义的选民，或许还镇住了一些潜在的麦克莱伦选民。
1864年选举中值得注意的一个事实是，终究举行了这次选举。在第二次世界大战以前，还没有第二个国家在战争期间举行过大选。英国在20世纪曾因处于战争的非常时期而两度取消选举。美国在内战中举行选举的试验在历史上是独一无二的，其结果将决定这个国家的未来。然而，没有任何人在1864年建议推迟举行选举。正如林肯自己所解释的那样：“没有选举，我们就不会有自由的政府；如果这场叛乱会迫使我们提前或推迟一次全国选举，那这场叛乱就简直可以宣称已经征服并毁灭了我们。”林肯在再次当选后说道：选举结果证明，“人民的政府在一场大规模内战中经受得住一次全国选举”。
1864年的士兵选票同样引人注目。没有第二个国家曾经做过这种试验，让它的参战人员在一次可能决定他们是否继续战斗的选举中投票。到1864年，有18个州已有可能使部队在阵地上投票。这些州中的六个州规定，士兵选票应与其它选票一起贮存，而在其余的部队投票的12个州，部队选票将单独制表。剩下的北部各州——最引人注目的是伊利诺伊州和印第安纳州——并未对士兵的缺席选举作出什么规定。伊利诺伊州和印第安纳州的民主党人宣布反对这一立法，因为他们有正当的理由对士兵选票表示担心。尽管麦克莱伦的名字在波托马克军团的许多官兵中仍有很大的感召力，但没有什么士兵愿意去投那个宣布战争已经失败的政党的票。一位阅历丰富的军官写道：民主党的胜利会意味着“不光荣的和平与耻辱，以及过去那种对南部统治的卑躬屈膝。”另一位生平是民主党人的士兵说：“我们都希望和平。但它不是任何别的和平，而是光荣的和平。我宁愿在这里呆一辈子(尽管我很不乐于这样做)，也不同意我们国家陷于分裂。”
共和党人认为，士兵选票在某些州是有决定性的。林肯作为总司令，能够在这方面进行运筹。军事行动在11月初就停了下来，这是因为成千上万的士兵来自不能缺席投票的州，给他们放假回家去投票了。民主党人指控印第安纳州有舞弊行为，据说成千上万的共和党选票都是来自州外的士兵投的。另一方面，到阵地上收集士兵选票的纽约州民主党专员却遭到逮捕，并被判以向投票箱塞进选麦克莱伦的假票的罪行(其中有一人供认不讳)。还有其它一些对舞弊和骚扰的指控，但从整体上说，损毁部队选票的不正当行为并不比19世纪的正常选举为甚。在单独列表的士兵选票中(154,045票中的119,754票)，林肯的得票率居然高达78%。在那些返乡投票或其选票并未单独计算的士兵中，共和党人大概也占同样大的比例。即使在波托马克军团，投麦克莱伦票的士兵也只有29%。
在好几个国会选区，士兵选票提供了共和党获胜所需的票数差额。他们的选票亦为林肯在纽约州和康涅狄格州(可能还在印第安纳州和马里兰州)提供了选票差额。总统即使没有部队选票也有可能获胜。但是，士兵中的共和党选票占四比一的多数，这对林肯的战到胜利的政策，是个令人难忘的授权。需要去打仗的人以较大的票数差额进行投票，而且远远高于在家乡进行投票的人们。
林肯再次当选的含义，每个人都很明白。格兰特在一封致友人的信中写道：“林肯先生赢得压倒多数的选票和选举平静地进行，将给予叛军狠狠地当头一棒。就林肯的再次当选对叛军的影响和在国外的影响而言，要比战场上的一次胜利大得多。”彼得斯堡堑壕中的联邦士兵听到林肯获胜的消息时，“都欢呼起来，连嗓子也喊哑了”。一位北军的二等兵写道：“在两军战线相距不足20米的某处，我们的士兵听到叛军胸墙后面传来的声音。‘喂，扬基佬。’‘喂，约翰尼。’‘别开枪，扬基佬。’‘行，约翰尼。’‘你们在叫些什么呀？’‘巨大的胜利归我们了。’对方的反应显得很急切：‘扬基佬，什么巨大胜利呀？’‘老阿贝已把你们的北部伙计一扫而光了。’‘扬基佬，你说得不对吧？’‘一点不假，忧虑全都没有了；整个北部剩下的主和派还不够编一个警卫班。’”
麦克莱伦及其友人虽很失望，但还是接受了这一结局，辞去了职务。这位将军的一个密友聊以宽慰地说，民主党将不再担负结束战争的责任了。他提到这次选举运动时写道：“我们参加了一场不可能取胜的战斗。我们是在革命的一个周期结束以前去阻止革命。我们幸亏失败了。”伦敦《每日新闻》颇有洞察力的记者认为，仲夏以来，北部舆论的转变表明，北部“确实是沉默的、镇静的、但又极其严肃认真的……，其方式是为世人曾所未见的……。我对他们坚决……要战斗到底的决心听得越多，了解越深，我就越发感到惊讶。”
里士满也理解林肯再次当选的含义。但是，杰弗逊·戴维斯却摆出一副体面的官僚架子，坚持认为邦联“像过去一样不屈和反抗。它的政府的目标没有任何改变，它的部队那不屈不挠的英勇气概和它的人民那不可遏制的精神都不会改变。……敌人在军事上的任何成功都无法使邦联解体。”谢尔曼在其著名的从亚特兰大向海滨进军中所要粉碎的正是这种负隅顽强。
