尽管杰克逊的进攻取得了成功，但胡克在次日仍有获得击败罗伯特·李的良机。联邦军在怀尔德尼斯把邦联军的两部分部队分隔开来。联邦军在数量上占有优势，同时在黑泽尔格罗夫占据着一个高地。这个高地是炮兵可以有效作战的仅有的几片林间空地之一。胡克误认为黑泽尔格罗夫是个暴露着的突出地块，于是就在黎明时下令将其放弃，从而铸成了他的大错特错。临时指挥杰克逊那个军的斯图亚特很机警，迅速地把50门大炮转移到山坡上，从那里连续猛轰联邦军工事，并由邦联军步兵反复发起进攻。联邦军遭受重创，不得不退出阵地。
胡克只投入一半兵力，他把林肯的“投入你的全部兵力”的劝告置诸脑后，没有命令闲置的两个军投入战斗。在战斗期间，胡克正倚着钱瑟勒旅馆的一根柱子，一发炮弹击中了这根柱子，把他震得失去了知觉。尽管头昏眼花，他还是不把部队交给极想让联邦军每个师都投入战斗的一位老资格的军长。上午10时左右，联邦军撤退到钱瑟勒斯维尔北面的新阵地。此时在弗雷德里克斯堡留下的25,000联邦军终于占领了城外的高地。罗伯特·李在得知这支部队正在接近其背后时，再次在钱瑟勒斯维尔分兵，给斯图亚特留下25,000人去牵制那里的75,000联邦军；而他则率其余部队出发去增援厄尔利的10,000部队。5月3-4日，在发生于钱瑟勒斯维尔和弗雷德里克斯堡之间的一次激烈战斗中，邦联军把在前线上占有优势兵力的联邦军赶过了河，而这时胡克却率领大军在西边仅几英里处按兵不动。随后，罗伯特·李调转兵力与胡克对抗，但是胡克放弃了战斗，于5月6日渡河来到拉帕汉诺克河北岸。
对“举世无双的部队”来说，这回败得痛苦而屈辱。然而，首先是胡克被打败，而不是他的部队被打败。联邦军在这次战斗过后，士气并不像弗雷德里克斯堡战役结束后那么低落，尽管联邦军方面在四天的战斗中伤亡17,000人(邦联军的伤亡是13,000人)，钱瑟勒斯维尔之役一直被称为罗伯特·李的“最伟大的杰作”，然而，之所以如此，主要是因为胡克的战地指挥在这场战争中显得最为糟糕。尽管邦联取得这次大捷，但由于杰克逊于5月10日死于负伤后并发的肺炎，所以最终失去的还是比得到的多。
根据一位访问者的说法，林肯得悉来自钱瑟勒斯维尔的消息时，脸色“苍白”。他大声喊道：“我的上帝！我的上帝！全国将会说些什么？”在这个绝望之冬的其他失败(据公众所知，格兰特仍陷在维克斯堡附近的沼泽地里)之后，接踵而来的钱瑟勒斯维尔之战的失败很可能是对联邦事业的一个致命打击。但是，恰恰相反，这不过是黎明前的黑暗。在1863年的夏、秋两季，联邦军的几个决定性胜利将使战局变得有利于北部。
