尽管共产党以纪律严明著称，但是党的流亡领导层内部也很快出现了严重分歧。分歧的一方是占多数的极左派，主张继续攻击社民党；另一方是共产国际，他们意识到德共已经遭受重创，开始敦促党和社民党开展合作，建立反法西斯人民阵线。1935年1月，共产国际公开谴责德共此前的政策是“宗派主义”，并开始收敛自己的革命言辞。德共内部由瓦尔特·乌布利希（Walter Ulbricht）和威廉·皮克（Wilhelm Pieck）领导的一小部分人察觉到了变化，选择和莫斯科的新政策站在一边。乌布利希以前是柏林共产党组织的领导人，皮克是国会代表，并曾在李卜克内西和卢森堡于“斯巴达起义”中被自由军团杀害前一直陪伴在二人身边。这次意识形态转向使德共改变了有利于盖世太保镇压运动的集中式架构，代之以松散的组织，赋予各部门较高的独立性。这似乎才是适合团结高效的工人阶级反纳粹抵抗运动的组织方式。[105]
然而这一切终究还是来得太迟了。共产党地方领导层和普通党员与社民党争斗太久，积怨已深。1934年中，7000名埃森工人在一位死于监狱的共产党人墓前举行示威活动。当地的共产党领导层明确宣布，不欢迎社民党人参加示威，因为他们死去的同志一直在和社民党做斗争。此外，流亡巴黎的乌布利希受命组织由德国共产党和社民党组成的人民阵线，但他极易激怒他人。有的人认为他并不真心支持共产国际的新政策，所以有意挑衅，好把新政策失败的责任推给社民党。同时，由于盖世太保对德共情报人员的严密监视，很多德国境内的活跃共产党人不知道党已经有了新路线。社民党对人民阵线的提法满腹狐疑（它确实在法国和西班牙成功了），这样的“联合阵线”在魏玛时期就有过，是共产党用来对付社民党的策略。两党在1919年到1923年之间凝聚的仇恨实在太深，不可能在德国内部形成真正的联合。[106]
当人民阵线政策全面启动时，共产党和社民党的抵抗组织都已经遭到了盖世太保的沉重打击。1933年6—7月间的大规模抓捕行动迫使抵抗运动重组，但盖世太保迅速查到了重组组织的动向，再一次开始了抓捕。杜塞尔多夫共产党支部的非法抵抗历程也许是个典型。杜塞尔多夫是一个大的工业中心，有着激进主义的传统，是共产党的主要地盘。1932年11月的国会选举中，共产党在杜塞尔多夫获得了7.8万张选票，比纳粹党多了8000张，超过社民党2倍还多。1933年2月28日《国会纵火案法令》发布之后，大规模的搜捕行动严重打击了当地共产党的基层组织，但在27岁的胡戈·保罗（Hugo Paul）的领导下，共产党迅速卷土重来，定期印发新闻传单，开展宣传攻势。然而在1933年6月，盖世太保查获了党的记录，在传单印刷者家中将保罗逮捕。一番严刑拷打后，其他活跃分子随即暴露，到7月末有超过90人被捕。柏林的共产党地下总部派出了好几批人接替保罗，频繁变动人员，以防被人发现。1934年春，当地的共产党组织已经有约700名党员，开办了一份新闻简报，每期印发4000—5000份。他们在夜里把传单塞进人们的信箱，或者在火车站、银行、电影院以及旅馆等高层建筑顶上用一种叫“爆蛙”（knallfrosch）的装置分发传单。“长刀之夜”那天，党组织撰写了尖刻嘲讽的批评文章四处散发，视其为一次特别的胜利。
然而，盖世太保成功策反了一位被捕的共产党地下组织负责人威廉·加特（Wilhelm Gather），于1934年将他作为双重间谍安插至当地的共产党组织，紧接着便发起了逮捕行动。城市中心防卫区抓到了60个，腓特烈施塔特（Friedrichstadt）的工人阶级地区抓到了50个。其他被捕的共产党人也受到了严刑拷打，但他们宁肯自杀也不愿出卖同志。尽管遭受了这次重创，但是他们因为罗姆被杀的消息又重新乐观起来，认为纳粹统治即将从内部崩溃，党员人数也有实际增加，下莱茵河地区和鲁尔区的党员达到了4000人。上升趋势并没有维持多久。在希姆莱和海德里希领导下，盖世太保加强了集权，提高了效率，更多共产党人随即被捕。最致命的是，共产党在柏林的地下总部在1935年3月27日被一锅端，地方党组织从此失去了领导和前进方向。党员对自20年代以来一直执行的极左路线越来越失望，党内士气每况愈下。党员退党和后续的逮捕行动让下莱茵河地区和鲁尔区的地下党组织支离破碎。等到1935年6月新的地区领导人瓦尔德马·施密特（Waldemar Schmidt）上任时，共产党组织已经只剩下一些孤立的小组。施密特自己都还没来得及向党的流亡领导层汇报情况就很快被捕了。[107]这样的事情在德国遍地都是。比如在哈雷—梅泽堡（Halle-Merseburg），一个警方卧底在1935年初领着盖世太保摸到了当地党组织领导会议的会场。被捕的人熬刑不过，泄露了其他党员的名字；党的文件被查获，更多人遭到抓捕和拷打，最后一共有超过700人被捕，当地共产党组织毁于一旦。少数幸存的党员士气全无。此时，党的干部之间互相怀疑（这种猜疑并非全无道理），在政治上已经难有作为。[108]盖世太保通过细致的信息搜集和室内搜查，对嫌疑人施以酷刑审讯，利用间谍和告密者，在1934年末成功摧毁了共产党组织的抵抗运动，包括它的福利组织“红色救援”（RoteHilfe）。“红色救援”负责帮助身陷囹圄或者陷入其他困难的党员的家属。自此以后，只有小部分非正式组织的共产党人在继续活动，许多地方甚至连这种人都没有。[109]这时候他们或多或少已经放弃了之前的要唤起群众的雄心壮志，转而专心等待纳粹统治最终垮台。在第三帝国初期所有抵抗纳粹主义的组织中，共产党最坚定也最无畏。相应地，他们为此付出了最为惨重的代价。[110]
和留在德国的同志相比，那些在苏联寻求庇护、躲避镇压的共产党人同样命运悲惨。欧洲的法西斯主义威胁不断升级，俄国和乌克兰农业集体化遭遇失败，强行工业化历经艰辛苦难，这些因素令苏联领导层日益偏执。1934年，当时苏联最知名和最受欢迎的年轻一代布尔什维克领导人谢尔盖·基洛夫（Sergei Kirov）遭到谋杀，这起谋杀很明显是一些布尔什维克高官共同策划的。案发后，苏联领导人斯大林展开清洗行动，大量逮捕党内官员，局势愈演愈烈。没过多久，遭到逮捕和枪决的苏共领导层官员就已达数千人之多，被捕者被押到作秀式的公审大会上，被逼承认“颠覆政权”和“阴谋叛乱”等莫须有的罪名。清洗迅速蔓延到普通党员之间，官员和普通党员争相检举党内疑似叛徒或颠覆破坏分子的人。截至20世纪30年代末，西伯利亚地区的劳改集中营古拉格群岛（Gulag archipelago）已经塞了数百万名囚犯。据估计，从斯大林在20年代末夺取最高权力一直到他在1953年死去，苏联一共有75万人被执行死刑，另有至少275万人死在了集中营。[111]
在这种恐怖、惧怕和互相揭发的氛围下，任何非常之举都可能成为逮捕、监禁、酷刑和被杀的借口。和外国政府有联系，甚至曾经在国外居住都开始引起怀疑。不久，大清洗将流亡的德国共产党人也卷进了毁灭的漩涡。数千名在苏联寻求庇护的德国共产党人被捕，或是被送进劳改营：或是被流放西伯利亚。超过1100人被控以各种罪行，遭到斯大林的秘密警察的残酷折磨，被长时间囚禁在条件恶劣的劳改营中。不少人遭到杀害。死者包括数名德共政治局前任或现任委员，有海因茨·诺伊曼，他是前任宣传部长，曾在1932—1933年间主张暴力行动，但被强烈拒绝；有胡戈·埃伯莱因（Hugo Eberlein），由于好友罗莎·卢森堡对列宁的批评，埃伯莱因在苏联不受欢迎；还有赫尔曼·雷梅尔，他在1933年不小心说了一句什么纳粹夺权成功就等于工人阶级的失败之类的话。德共政治局在1920—1933年间总计有44名成员，其中死于斯大林迫害的比死在盖世太保和纳粹政权手上的还多。[112]
