这种蜜月同样短暂。虽然“劳工神圣”的旗帜一度堂而皇之地挂在直系控制下的京汉、陇海铁路沿线的要埠大街上，但吴佩孚镇压了京汉铁路大罢工、制造“二?七”惨案。苏联曾不改初衷支持吴；直至吴对苏军驻扎外蒙和中东路主权问题的态度越来越强硬，特别是 1924年 9月在第二次直奉战争中，因冯玉祥倒戈而惨败于张作霖，苏联人才放弃对吴佩孚的争取。
即使最有军事才能的军阀吴佩孚也避免不了为时代所弃的命运，他虽然仍多次跟其他军阀分分合合，挂过若干头衔；也曾东山再起，报了冯玉祥一箭之仇，但已是强弩之末。虽然吴佩孚有着革命军人少有的文才，但他仍敌不过文明转型中的意识形态。军阀和他们步履蹒跚的军队势力开始让位于新兴的革命军队，孙中山的党军显示出威力。1926年秋，国共合作的北伐战争开始，国民革命军大举北伐，盘踞中原的“常胜将军”吴佩孚纠集主力扼守湖北咸宁的汀泗桥，并上阵督战，亲手枪杀了几名后退的官兵，然而吴抵挡不住革命洪流。两个月后北伐军攻克武昌，他的主力被歼，从此一蹶不振。他大势已去，可是不像其他下台的军阀政客那样，腰缠万贯出洋“考察”或跑到租界去寻求外国人保护，他也没有多少钱，他只有在国内辗转流亡。
吴的失败是必然的。因为他既不像其他大多数军阀那样一心求利求地盘，又不像国民革命军那样师法欧美文明的精神。他的人生观和世界观是传统得陈旧了，虽然他的坚守可敬。他早就说过：“英雄并不以成败定义，本人既以关、岳为立身行事的楷模，所以在行为上一不爱财，二不好色，三不怕死。本人志在春秋，为国家民族，不惜肝脑涂地。”但有着革命意志的党军硬软实力都高于军阀不说，即使吴以儒将自居，他仍是一个视苍生如刍狗的卫道士，他是一个自以为是的愚忠儒者：他对其他军阀毫不手软，却又如宋襄公一样假仁义道学。冯玉祥叛变、形势危急之际，他的顾问焦急地请其应付危局，他却大谈“千古不磨之成文宪章，即孝、悌、忠、信、礼、义、廉、耻之八德”，坚称自己“宁为玉碎，不为瓦全”。当叛将讨饶，他不宽恕容纳，冯氏的国民军发动第二次政变后，满以为驱逐了段祺瑞会使吴佩孚高兴，通电全军投靠吴氏门下，吹捧“吴玉帅”有“命世之才”，表示：“此后动定进止，惟吴玉帅马首是瞻。”但他接到通电后，只批了四个大字：“全体缴械”，逼得冯玉祥再次背叛。
无论外力是否可借，他也不稍加利用，英美、苏联、日本都曾想支持他，他都拒绝了。当吴在最潦倒落魄的时候，日本第一遣外舰队总司令荒城二郎少将，海军驻沪特务机关长佐藤秀大佐率将佐十五六人由宜昌乘小型舰到白帝城，专诚拜访落魄的吴大帅，表示：一、愿供给私人借款一百万；二、愿赠步枪十万支，小炮五百门，机关枪二千挺连同弹药，由小型舰艇运来白帝城。这对于有意东山再起的人自然是一个大诱惑。可是对吴佩孚这位硬汉，则毫不起作用。吴义正词严地对日本人说：“过去我有枪不止十万，有钱不止百万，尚且一败涂地，可见成败是不在于枪炮和金钱，我如果愿意借外债，引外援，何必待到今日？中国事应该由中国人自了。贵国贵官的盛意我是不会承受的。”
