法军方面又折损了近千匹战马，增加了数千名伤员，沿路都有丢弃的行李、大炮和靴子。马博特上校形象地将俄国的广大土地比喻为不断吞噬他们的“巨大坟场”，而他们在这座坟场里留下的是“被狼群啃咬着的3万具尸体”。他们首先到达格扎斯克，接着是维斯马，沿着斯摩棱斯克方向前进，而此时冯·施瓦岑贝格亲王早已背弃法军返回华沙。北方是由查斯尼基将军率领的俄军，他不断地扰乱那里的法军的第二及第九军团，直接威胁到拿破仑渡过别列津纳河的计划。而契察柯夫则率军在通往布列斯特-立托夫斯克以及斯洛尼姆之间设置路障。
拿破仑最后只有依靠斯摩棱斯克要塞的守军来对付库图佐夫的由米洛拉多维奇率领的前锋部队的追击。“法国军队开始瓦解、崩溃了。”一位法国军官记录道。法军所经之处总是留下成千上万具战马的尸体。沿途，在法军入侵初期遭受过法军残酷掠夺的俄国老百姓如今也奋起反抗法军，因而牵制了他们的撤退速度。当拿破仑在斯拉夫科瓦时，米洛拉多维奇的部队也赶到了那里，并成功打击了拿破仑的后卫部队。达武遭到围困，直到最后关头才九死一生地被欧仁亲王救出。尽管内伊军如今已被俄军杀得损伤极为惨重，但内伊的第三军团仍奉命取代达武军成为拿破仑的后卫部队。法国骑兵团也由最初从莫斯科出发时的近15,000人锐减至只有区区几千人了。他们既得不到保护，更没有自我保护的能力了。11月头一周，饥寒交迫的法军秩序大乱，狼群般蜂拥而至的俄军围攻法军，哥萨克的骑兵队也时不时地袭击他们。这时，天下起了鹅毛大雪，将那些阵亡将士的尸体深深掩盖了起来，也许未来154天内这些雪也不会融化。“我不得不提醒陛下，在过去的这3天里，我军将士已受到前所未有的打击，士气尽丧——此刻我不得不相信，他们甚至连保护自己的能力也没有了。”欧仁亲王在11月8日的报告中极其无奈地承认道。来自其他将领类似的报告亦纷纷送到了贝尔蒂埃和拿破仑的手中。
同一周，拿破仑接到了法军在西班牙进一步失利的消息，而几乎同时他接到了萨瓦里粉碎了马莱政变的消息——这一谋乱虽不成功，但令全巴黎甚至拿破仑政权的核心受到极大的冲击。而此时，维吉斯坦以及契察柯夫的约有7万人的追兵已赶在法军前面，占领了明斯克与别列津纳的交汇处。
拿破仑最终于11月9日到达明斯克。此时就连他的帝国卫队也开始违抗军令，到处掠夺、杀人、放火焚烧沿路的房屋。此时气温仍在下降。接着，又传来了离明斯克不远处的法军将领巴拉奎向俄军投降的消息。至此，拿破仑再也没有新的援军了。
4天后，法军终于到达了斯摩棱斯克，拿破仑决定全军向维切布斯克以及明斯克退却。法军从离开莫斯科以来，在不到一个月的时间内就已损失了近60万人马。帝国卫队仍保持有14,000人，但他们已不服管束；更糟糕的是，达武统帅的全军最强军团的总人数已降至10,000人，而内伊的军团人数仅3000人，第六及第八两个军团加起来的总人数才1,500人。拿破仑惟一的希望就是在奥尔沙待命的由维克多和乌迪诺元帅率领的第九军团和第二军团。
但是，法军并没有沿西北方向向维切布斯克退却，11月12日，法军的前锋部队沿西南方向退却，经克拉索尼、鲍里索夫，沿别列津纳河到明斯克。在他们身后，库图佐夫的部队正步步紧逼，而普拉托夫更为剽悍的骑兵队以及米洛拉多维奇的主力部队也自南北两路逼近。更加严峻的是，维切斯坦的现已控制维切布斯克和波洛茨克的25,000人～30,000人的大部队也正向西移动，而契察柯夫将军率领的34,000人的队伍正从明斯克向拿破仑的军队直冲而来——而拿破仑原本打算退到明斯克暂且避难的。至此，拿破仑仍然完全没有意识到自己已经被重重包围了。与此同时，由麦克唐纳率领的近20,000人的队伍已被孤立在波罗的海的里加，而镇守普洛茨克以西的拿破仑的第六军团也被他们的主帅巴伐利亚的科特·冯·瑞德弃之不顾，群龙无首、溃不成军。只有乌迪诺率领的近8,000人在明斯克西北处同维克多的11,000人合力奋战。
11月15日，在到达克拉斯诺耶后，拿破仑花了整整两天的时间等他的余部到达这里。然而，他的帝国卫队在冲破库图佐夫在前往明斯克的路上进行的拦截时，损失极大；但也击退了近35,000名俄军，取得了小小的胜利。
情势仍十分令人担忧，由于已四面楚歌，拿破仑不能坐以待毙。因为取得了这个小小的胜利，他命令法军乘胜全速前进，将内伊后卫部队远远地甩在后方，因为他刚刚了解到契察柯夫已从法军手中拿下了原来由施瓦岑贝格驻守的明斯克——这一着已切断了拿破仑的供应线和后路，原镇守明斯克的施瓦岑贝格已退到了华沙。
