段祺瑞赢得了“三造共和”的美誉，于7月14日进京，重掌政府大权。
兄弟阋墙，“虎狗”两败俱伤
张勋复辟失败后，黎元洪自知引狼入室，中断民国，无颜再做总统，只好灰溜溜下台，冯国璋做了代理大总统。
由冯国璋做总统，对段祺瑞来说也是万般无奈之举。两人虽是北洋武备学堂的老同学，又同为小站宿将，也都是袁世凯的心腹，但多年来总是在暗中较劲。袁世凯死后，两人一北一南，实力相当，互不服气，北洋派无法形成一个中心。段祺瑞虽多年没有直接统兵，但在陆军中党羽众多，在政界更有一批支持者；冯国璋占据江苏一省地盘，统兵数万，又有一些南方省份相呼应，两人的势力在北洋派中逐渐形成皖、直两系，段、冯两人为了谁执北洋牛耳，明争暗斗，互不相让。
冯国璋进京之初，段、冯二人合作还算愉快，8月14日，即将黎元洪为此下台的导火索——对德宣战案，以总统令顺利发布。但好景不长，新的府院之争在南北统一问题上凸显出来。
由于段祺瑞废除约法，拒绝恢复国会，遭到以孙中山为首的国民党的强烈反对。孙中山联合西南各省召开非常国会，成立了与北京政府对峙的护法军政府，掀起轰轰烈烈的护法运动。对此，段祺瑞力主“武力统一”，其公开目的是削平西南地区的陆荣廷、唐继尧两大山头，消灭孙中山领导的武装力量。而背后的目的则是“以皖统直”，借直系力量讨伐护法军，在消灭护法军的同时，削弱直系势力，扩大皖系力量。
冯国璋自然明白段祺瑞的目的，针锋相对地提出了“和平统一”的主张。
冯国璋当初被国会选为副总统，得益于国民党议员的投票，而一些国民党议员也曾得到过冯国璋的保护。且冯国璋与陆荣廷一直保持着秘密盟友的关系。同时，冯国璋认为其副总统是经国会选举而来，代理总统职位法律上有依据，因此南方反对的是段祺瑞，而非冯国璋。
在此背景下，府院之间围绕“主战”还是“主和”展开殊死搏杀，揭开“虎狗之争”的序幕。
段祺瑞的战略计划是攻湘以占领两广，入川以进攻云贵。8月初，段祺瑞任命其亲信傅良佐为湖南督军，王汝贤、范国璋为攻湘各军正、副司令，开始了第一次南伐。然而，当北洋军刚刚攻占衡山、宝庆，准备由此进军两广时，遭遇战局突变。10月20日，冯国璋授命其亲信“长江三督”李纯、陈光远、王占元通电主和，发出“倒段”先声。接着，又由“长江三督”鼓动处于湖南前线的攻湘总司令王汝贤、副司令范国璋公开背叛段祺瑞，通电“停战主和”！
冯国璋这一釜底抽薪之计，使湖南战事急转直下，令段祺瑞腹背受敌。段祺瑞惊异万分，他无论如何不曾料到前方军人竟然公开背叛他，尤其他对王汝贤有提携之恩。他忽略了王、范本身为直隶人，其官兵又多出于直隶，因此出于乡谊，常为直系所左右。
这第一个回合的较量，使段祺瑞败下阵来。加上北洋军在四川战场上失利，段祺瑞被迫于11月中旬，先后辞去陆军总长与国务总理之职，返回天津。
段祺瑞下野后，冯国璋的日子并没有想象的那么好过。段祺瑞虽辞职，却“阴魂不散”，不仅日本人出面干涉，来自北洋派内部的劝阻更是不绝于耳。尤其北洋元老徐世昌，早已有了明显拥段排冯的态度，如今更是站在段祺瑞一边；而另一位北洋元老王士珍，深知其中利害，唯恐避之不及，以致冯国璋竟然找不到一个可以接任国务总理的人，最后不得不问计于段祺瑞。段祺瑞出于北洋派内部团结的考虑，说服王士珍出山。
与此同时，段、冯两人的心腹在背后展开了较量，较量的焦点，则是对直隶督军曹锟的争夺。曹锟一向为直、皖两栖将军，直、皖两系哪边都不得罪，而由于其实力强大，偏向任何一边都有着举足轻重的作用。冯国璋的亲信“长江三督”率先出击，拉拢曹锟发“巧电”停战议和，一下子使“长江三督”变为“直系四督”，给段祺瑞以更沉重打击。哪承想，曹锟根本就不想得罪段祺瑞，发“巧电”后即矢口否认此事，使“长江三督”弄巧成拙。
而段祺瑞的心腹徐树铮，远比“长江三督”棋高一招，他用一个“副总统”的允诺，便将曹锟拉向了皖系，使持中立立场的曹锟，摇身一变成为了主战派急先锋。接着，在徐树铮的活动下，“督军团”迅速复活，以曹锟为首的七省三区督军、都统、护军使会议于12月2日在天津隆重召开，会议除“长江三督”外，囊括了北洋派控制的各个省区。其中心议题便是主战和对西南用兵，决定由各省出兵，集六万之众南征。
在天津会议的压力下，12月15日，冯国璋不得不下达对西南的讨伐令。三天后，再次对皖系做出让步，任命段祺瑞为“参战督办”，段芝贵为陆军总长，使皖系完全控制了北京政府的兵权。这第二个回合，段祺瑞扳回一局。
在接下来的较量中，段祺瑞虽处于优势，但依然无法控制前方战局。冯国璋在南方的压力下曾一度下令停战，并于1918年1月25日突然通电宣布南巡阅兵，26日晚即乘车南下，令段祺瑞顿生疑窦。
当时的前线在湖南湖北，冯国璋南巡阅兵应走京汉线，而他走的是津浦线；其次，既是南巡，却挑选一个旅重兵护卫，并携带子弹200箱，辎重数十车，一路上行色匆匆，徐树铮当即便提醒段祺瑞说：“总统该不是借机溜回南京吧？”
“完全有可能！”段祺瑞早已意识到问题的严重性，一旦冯国璋回到南京，另立中央，说不定会下达对皖系的讨伐令，到那时局面将不可收拾，“马上给倪嗣冲发电报，要他无论如何在蚌埠将总统截回！”
1月28日，冯国璋的专车抵达蚌埠，倪嗣冲登车拜谒，请总统下车视察。在此前，专车抵达天津时，曹锟上车拜谒；抵达济南时，张怀芝上车拜谒并随行；车到徐州，张敬尧也登车拜谒随同南下。唯独在蚌埠，车站重兵把守，令冯国璋颇感意外。
“怎么车站有这么多部队？”
“特地调来保卫总统安全的。”
倪嗣冲回答得十分恭顺。冯国璋明知并非如此，却也无话可说。但在接下来的接风宴中，倪嗣冲的部下奉命将总统专车的车头卸了，冯国璋心里暗暗吃惊，表面上却不敢发作，只好隐忍着用半开玩笑的口吻说：
“丹忱你这是什么意思啊，不是想让我长期住在蚌埠吧？”
“岂敢？总统既然到了蚌埠，我就要为总统的安全负责。南方战火纷飞，总统若南下，恕我不能从命。总统若回京，我立刻挂车头。”
倪嗣冲口口声声为总统安全着想，并且口气软中带硬，冯国璋自然明白是受段祺瑞指使，只好乖乖返回北京。1月30日，在皖系强大力量的逼迫下，冯国璋再次被迫下达了对西南的讨伐令。
紧接着，北洋军在两湖前线连连取得胜利，段祺瑞欢欣鼓舞，终于看到了武力统一全国的希望。偏偏在此时，第十六混成旅开到湖北武穴，其旅长冯玉祥立即与“长江三督”相呼应，于2月14日发表主和通电。
冯玉祥的主和通电激怒了段祺瑞。由于冯玉祥的舅父陆建章是总统府顾问，段祺瑞认为冯玉祥是受其舅父指使，因此迁怒于冯国璋，认为冯国璋言而无信，表里不一，决定逐冯国璋下台。但由于京津没有足够兵力支持其这一计划，情急之中，段祺瑞决定铤而走险，借助奉军势力赶走冯国璋。
其实早在年初的时候，徐树铮就向段祺瑞建议，请奉军入关以震慑冯国璋，但段祺瑞深知“请神容易送神难”的道理，迟迟未予采纳。在段祺瑞看来，土匪出身的张作霖并非北洋嫡系，他与冯国璋作为正统北洋元老，其争斗显然是北洋内部的争斗，让一个局外人插手岂不贻笑大方。可如今段祺瑞被冯国璋气昏了头，一想到自己好不容易建立起的讨伐局面很可能再次被冯国璋击毁，便毫不犹豫地采纳了徐树铮的建议。
而徐树铮对拉拢奉系早有策划，在段祺瑞任总理时曾和日本签订秘密协定，其中一项是从日本购买2.7万支新式步枪及弹药。这些军械弹药除准备给晋、陕两省调拨一部分外，其余由中央支配，冯国璋决定利用这批军械扩充其嫡系部队。徐树铮得知这一情报后，做出一个大胆决定——利用奉军劫夺军械，既使冯国璋扩充计划落空，又可拉拢奉系为皖系效力。
得知徐树铮要送如此一份丰厚“大礼”，张作霖立刻派参谋长杨宇霆和旅长张景惠，率两个步兵营、一个机枪连，前往秦皇岛劫收武器。杨宇霆等人抵达秦皇岛时，冯国璋派出接收军械的政府军官员已同时到达。按照徐树铮的部署，杨宇霆一行特地与政府军官员住进同一客栈，并天天约请这些官员吃喝玩乐，取得其信任。
日本载运军械的货船抵达秦皇岛港口时，杨宇霆等人装作好心，帮政府军卸货。待军械全部装上火车，政府军官员与日方办理完交接手续后，杨宇霆等人立刻率兵将政府军官员包围，拿出徐树铮开具的接收军械证明，说明这批军械已经得到中央允许，调拨奉天。与此同时，早有部属倒挂火车头，载着满车军械扬长而去。
1918年2月23日，在段祺瑞决定引奉军入关的时候，劫械一事已在徐、张运作之中。在劫械当日，奉军已有部队开进滦州、秦皇岛。
冯国璋闻讯，既震惊，又大为恐慌。而劫收军械令段祺瑞也大吃一惊，气得对徐树铮大加训斥：“胡闹！你是在教猱升木，总有一天你会坏我大事！”段祺瑞所言没错，徐树铮此举虽在眼下帮了大忙，但却埋下了永久祸根。
张作霖拿到2.7万支新式步枪后，一口气扩编了六个旅。3月5日，奉军前队抵达廊坊；3月7日，冯国璋通电辞职；3月9日，内阁总理王士珍挂冠而去；3月12日，奉军在军粮城设立总司令部，张作霖为总司令，徐树铮为副总司令代行总司令职权；3月23日，段祺瑞重新出山，再任内阁总理。
为了缓和局势，段祺瑞没有同意冯国璋辞职，而是决定“合法驱冯”。此时京津一带已完全控制在皖系与奉军手中，湖南前线北洋军也接连取得胜利，助长了主战派的声势。
同年9月，段祺瑞操纵安福系，国会选举徐世昌继任大总统，冯国璋于10月10日届满卸任，随后返回直隶河间老家，从此不问政事，“虎狗之争”终于以冯国璋的失败而闭幕。
没有了权力之争，作为多年的老同学、老朋友，段祺瑞与冯国璋很快和好如初。1919年9月，冯国璋重返北京，从此两人经常聚在一起，把盏小酌，无话不谈。10月1日，段祺瑞又设家宴招待冯国璋。席间，二人谈起北洋军内部派系林立，难以统一，深感痛心不已。直皖本是同根并蒂，非弄到煮豆燃萁的地步，是冯、段两人都不愿接受的。回想当年小站练兵的情景，以及此前的“虎狗之争”，两人感慨良多。
冯国璋语重心长地劝段祺瑞说：“芝泉，不要再那么偏信徐树铮，他树敌太多，早晚会害了你！”
段祺瑞何尝不知道徐树铮的个性，但徐树铮对他忠心耿耿，又才干超群，对他的信任谁都无力动摇。冯国璋见段祺瑞对自己的话听不进去，也只能悻悻地住嘴，但心中不免担忧。
然而，让段祺瑞万万没有想到的是，两个月后，冯国璋突然病危，12月28日竟溘然长逝！段祺瑞闻讯赶到冯府，当众失声痛哭。1920年1月12日，段祺瑞再次到冯府吊唁，回想起与冯国璋几十年的交往，以及其中的争争斗斗，无不让段祺瑞悲痛不已，泪流不止。
事后，段祺瑞曾对亲信感慨道：“我和华甫斗来斗去许多年，结果谁也没得到什么好处，反倒弄得两败俱伤，想想真感到无地自容……”
直皖战败，小瞧了吴小鬼
其实，早在10月10日冯国璋下台的同时，段祺瑞已通电辞去国务总理的职务，只是保留了参战督办一职。
段祺瑞之所以辞职，主要是借机摆脱来自前方的军事压力和来自后方的舆论压力。在前线，主战派吴佩孚突然通电倒戈，打乱了段祺瑞的整个军事部署；在后方，由于“西原借款”被披露，群情哗然，而安福系包办选举也遭到舆论抨击，段祺瑞为了摆脱困境，不得不再次以退为进。
辞去国务总理后，由于内阁全是安福系的人，段祺瑞依然把持着北京政府。但在前线段祺瑞却力不从心了。直系的后起之秀吴佩孚青出于蓝，段祺瑞完全没想到会败倒在这个不起眼的晚辈手下。
吴佩孚是曹锟手下的头号大将，毕业于保定陆军学堂，说起来还是段祺瑞的学生。而早在吴佩孚崭露头角时，便有山东隐士郭绪栋向段祺瑞举荐过吴佩孚，当时郭绪栋说：
“吴子玉是潜龙在渊，总有一天会一飞冲天。”
“与又铮比如何？”段祺瑞急问。
“各有长短。论手腕、心计、纵横捭阖，当属又铮。若论带兵打仗，进退攻守，北洋后起将领中无出吴子玉之右者。”
郭绪栋素有识人之能，经常为北洋中上层人士举荐人才，段祺瑞对其所言深信不疑，随后便找到曹锟，以军火为交换条件，借走了吴佩孚。
曹锟对吴佩孚一向纵容，敬重有加，但吴佩孚对曹锟的贪婪非常不齿，所以并不以追随曹锟为荣。对段祺瑞的清廉和自律，吴佩孚早有耳闻，心中敬仰之极，听说段祺瑞请他过去帮忙，自然喜不自禁。
然而，两人的第一次见面并不愉快。那天段祺瑞刚刚与冯国璋大吵了一通，冯国璋前脚走，吴佩孚后脚就来了。段祺瑞一向不擅隐藏情绪，喜怒都挂在脸上，对吴佩孚的态度便显得冷淡而不耐烦，甚至没看吴佩孚一眼，只是淡淡地交代了一句：“这份演习计划，限你一周完成。”
吴佩孚何曾受过如此冷落？心里十分窝火，回敬道：“何须一周，一日便可完成！”
吴佩孚的狂妄口气，让段祺瑞忍不住抬起头来，看到吴佩孚不屑的眼神，段祺瑞立刻怒火中烧，恨恨地说：“好，就一天，完不成休来见我！”
吴佩孚心高气傲，不擅巴结上司，习惯被人敬重，见段祺瑞对自己如此不屑，不再说话，而是转身离去。看着吴佩孚的背影，段祺瑞的心情更加败坏。
第一次见面，两人对彼此都没有留下好印象。但是，印象毕竟是可以改变的，或许相处久了，就会发现彼此的优点。到那时，说不定吴佩孚会成为段祺瑞的心腹，那么，历史说不定会重新改写。可是，徐树铮亦非等闲之辈，他怎会眼睁睁看着别人跟自己“争宠”？于是，当吴佩孚回到住所，开始着手做演习计划之时，徐树铮笑呵呵地登门拜访。
“吴兄，久仰大名。今日相见，真是三生有幸。”
徐树铮对吴佩孚一副万分敬重的样子，令吴佩孚心中顿生好感。吴佩孚热情地将徐树铮迎到室内，两人隔桌而坐，畅谈时事，竟越谈越投机。吴佩孚惊异地发现，徐树铮在许多问题上见解高深，比自己有过之而无不及，立刻心生敬仰。吴佩孚生性豪爽，见今日得一知己，兴致高涨，便吩咐人定了一桌酒席，邀徐树铮外出喝酒，不醉不归，完全将段祺瑞布置的任务抛到了脑后。
吴佩孚向来贪杯，这顿酒席直吃到半夜，与徐树铮分别时，吴佩孚已烂醉如泥，话都说不清了，不可能再去完成什么演习计划。看到吴佩孚这种状态，徐树铮得意地笑了。
第二天一早，徐树铮就找到段祺瑞，装作不经意地提起吴佩孚，段祺瑞想起给吴佩孚布置的演习计划，应当今早交上的，一打听，吴佩孚这会儿根本没在差上。在徐树铮的挑拨下，段祺瑞以为吴佩孚妄自尊大，不将自己放在眼里，立刻备车，前往吴佩孚的住所。
令段祺瑞吃惊的是，吴佩孚竟然宿醉未醒。段祺瑞登时火冒三丈，指着吴佩孚的鼻子就是一顿臭骂。吴佩孚吃软不吃硬，既不解释也不认错，当天就返回曹锟军中，两人至此不欢而散。
段祺瑞没有想到，1918年初二次征湘时，在湖南前线连打胜仗的竟然是吴佩孚。当时曹锟为第一路总司令，吴佩孚率部打前阵，很快脱颖而出，晋升第三师师长。3月上中旬，他先克临湘又克岳阳，接着夺取长沙、湘阴，可谓战功赫赫。直到这时，段祺瑞仍然没把吴佩孚放在眼里。在吴佩孚攻下长沙之后，段祺瑞任命其亲信张敬尧为湖南督军兼省长，而张敬尧入湘后连吃败仗，这让卖命苦战连打胜仗的吴佩孚愤愤不平。
但段祺瑞完全没有注意到吴佩孚的反应，而是急电曹锟饬令吴佩孚继续追击湘粤桂联军，直捣两广。吴佩孚撤出长沙后，于4月末一举攻克衡阳。捷报传来，段祺瑞欣喜若狂，再次命令吴佩孚继续南下，扫平两广。
这时，段祺瑞第一次感到武力统一全国已稳操胜券。岂料，吴佩孚在这个时候却不买账了！徐树铮带来的一封电报将段祺瑞从天堂推向了地狱，电报云：吴佩孚按兵不动，第三师全体大罢兵！
段祺瑞盯着电文足有一刻钟，然后“啪”地拍了桌子，一声怒吼：“他为什么要罢兵？”吼过之后，段祺瑞颓然坐在椅子上，直到这时他才意识到，慢待了吴佩孚这个武力统一的关键人物。徐树铮似乎也明白过来，两人赶紧商量补救措施。但是为时已晚，无论段祺瑞如何安抚曹锟、吴佩孚，吴佩孚均不买账，而且很快与南军达成停战协议，气得段祺瑞暴跳如雷。
冯国璋下台后，曹锟、吴佩孚成为直系领袖，开始酝酿反皖倒段战争，矛头直指徐树铮及安福系。1920年5月，吴佩孚开始撤防北上，6月中旬，直军全部抵达中原，并在郑州到保定的京汉铁路沿线部署兵力。吴佩孚此举不仅宣告段祺瑞的“武力统一”政策彻底破产，同时预示着直皖大战不可避免。
段祺瑞对此早有准备，其心腹徐树铮早在徐世昌上台之初便出任西北筹边使、西北边防军总司令，在西北地区大练“边防军”，如今已重兵在握，成为名副其实的“西北王”。其边防军无论在数量上还是在装备上，都远远胜过直军，倘若直、皖一对一较量，段祺瑞自信稳操胜券。
在此情况下，被请入关的奉军便成为了直皖战争的关键砝码，奉军偏向任何一方，都有可能导致另一方的失败。6月下旬，张作霖翩然入京，前往团河拜访段祺瑞，信誓旦旦地表示：严守中立。段祺瑞对此深信不疑，因为他知道张作霖素与曹锟不和，但是他万万没有想到，张作霖与徐树铮有着更深的嫌隙。
秦皇岛劫械之后，张作霖与徐树铮的关系曾一度十分热络。为了感谢徐树铮，张作霖任命徐为关内奉军副司令代行总司令职务。然而好景并不长，在对西南方面的作战中，徐树铮将奉军放到最前线充当替死鬼，引起张作霖的不满。后来张作霖调查到徐树铮以奉军名义代领军费335万元，用来编练自己的军队，气得破口大骂，当即下令免去徐树铮的副司令一职，两人从此势同水火。
直皖战争爆发前，张作霖再次来到北京。7月5日，徐树铮专程拜访张作霖，不仅态度异常诚恳，而且对张作霖反省了自己以前的所作所为，重新取得了张作霖的信任。随后，徐树铮邀请张作霖到团河开会，指导皖系下一步军事行动，张作霖欣然答应。
7月7日，就在张作霖到达团河之前，徐树铮告诉段祺瑞一个惊人的计划：在宴席上行刺张作霖！段祺瑞听后大吃一惊，立刻严厉劝阻：
“又铮，不能胡来，会引发事变的！”
“顾不了那么多了，万一直奉联手，皖系就是死路一条，不能坐以待毙！”
“不行，我们应该从长计议……”
“你若是不忍心，一会儿躲别处去，我一个人应付得来。”
段祺瑞知道徐树铮对自己一片忠心，不想与他争执。而且张作霖就要进门，争论下去无益。但段祺瑞实在不忍心杀掉张作霖，尤其是把人家引到自己府邸，然后杀掉，传出去舆论上都不好交代，何况段祺瑞最厌恶这种背后捅刀子的事，在他看来不符合军人的做派。
宴席开始后，徐树铮对张作霖热情招待，执礼甚恭。段祺瑞为了提醒张作霖，一直铁青着脸，一言不发，冷冷地瞪着张作霖，张作霖震惊之余顿时明白过来，随后便故意大口地喝酒，然后由侍卫搀扶着到外边呕吐，借机逃走了。徐树铮得知张作霖已逃，顿足长叹：“完了！放虎归山，后患无穷。妇人之仁会坏了大事！”
7月14日，直皖战争在京津一带爆发。皖系以五个师四个混成旅组成定国军，段祺瑞任总司令，徐树铮任副总司令兼参谋长。直系以一个师九个混成旅组成讨逆军，以曹锟为总司令，吴佩孚为前敌总司令兼西路总指挥。尽管皖军在人数与武器装备上优于直军，但徐树铮完全不是吴佩孚的对手，吴佩孚不仅作战勇猛，且战术多变，使皖军连吃败仗。
17日，严守中立的奉系张作霖果然对皖系宣战，直奉联合攻皖，使得皖军腹背受敌，失败已成定局。
19日，直皖战争旋即结束。徐树铮被悬赏10万元通缉，走上四处流亡之路。边防军在如此短的时间内一败涂地，令段祺瑞痛心疾首。家人和亲信下属劝他去天津避避风头，他暴躁地大喊：“我哪里也不去！我倒要看看他们能把我怎么样！”
曹锟、张作霖自然不能把段祺瑞怎么样，而且两人都先后派代表到段府慰问，吴佩孚也摈弃前嫌，亲自登门拜见段祺瑞，并以“老师”相称。此后段祺瑞一直住在北京，直到1922年2月才返回天津居住。
傀儡执政，最后一点辉煌
直皖大战使皖系根基动摇，元气大伤。段祺瑞时年55岁，有人断言他从此将以在野之身终老此生。岂料几年后，段祺瑞再次咸鱼翻身，走上政坛。
直奉联合倒皖后，很快因利益之争决裂，并于1921年4月爆发直奉战争，结果奉军大败，退出关外。吴佩孚控制北京政府后，重走段祺瑞的老路：武力统一。如此一来，直系的对手除了皖系、奉系以外，又增加了西南方面的势力。
段祺瑞虽然在直皖战争中元气大伤，但受损的主要是徐树铮的边防军和安福系，皖系在沪、浙、皖、鲁等地尚有一定势力，所以作为北洋元老的段祺瑞，在军中仍有很大影响。于是，逃亡中的徐树铮又开始为段祺瑞重掌政权四处奔走，很快与南方的孙中山、东北的张作霖组成“反直三角同盟”。
1924年9月，第二次直奉战争爆发，双方出兵达40余万，为北洋军内战史上用兵数量之最。战争一开始直军便处于劣势，而直军第三军司令冯玉祥战场倒戈，班师回京发动北京政变，囚禁贿选总统曹锟，给了吴佩孚致命一击。
然而，吴佩孚在回救北京失败，前线亦因主帅离去迅速溃败之后仍不死心，一面率残部固守杨村、北仓等地，一面等候江苏督军齐燮元、湖北督军萧耀南驰援。岂知，段祺瑞早已指使山东、安徽等地皖军，切断了江苏援兵通往京津的道路；湖北通往京津之路也被阎锡山所部与冯玉祥所部封锁。而此时，冯玉祥正在调集军队向杨村、北仓等地包抄而来，准备一举歼灭吴佩孚残部。
值此危急时刻，段祺瑞动了恻隐之心。吴佩孚所率直军主力第三师其前身乃袁世凯的精锐部队北洋第三镇，段祺瑞曾任第三镇统制。于是，段祺瑞以第三师老师长的身份给吴佩孚修书一封，劝吴佩孚放弃抵抗，“速离去，否则被擒耳”。
当时很多人认为，段祺瑞此举是为回报皖系战败后吴佩孚的礼遇之恩，也有人认为段祺瑞吃斋念佛慈悲为怀，其实也是性格使然，段祺瑞脾气暴躁刚愎自用，但却心地善良，犹如当初放走张作霖，这也是他在北洋集团中落下好人缘的重要原因。
吴佩孚到天津后曾给段祺瑞打过一个电话，说准备将部队开进租界以引起外国插手干涉。段祺瑞说：“你是中国最优秀的军人，为什么要引起国际问题呢？”吴佩孚听了连称“是”，当即由塘沽乘船逃走。
直系倒台后，张作霖与冯玉祥请段祺瑞出山。1924年11月24日，段祺瑞在北京铁狮子胡同陆军部宣誓就任中华民国临时总执政。这是段祺瑞在国务总理任上三上三下之后，又一次登上北京政府最高领导者之位。
中华民国执政，这个职位是民国开国以来从未有过的，集总统与总理于一身，因此段祺瑞似乎比以前更加威风。但事实上，此时北洋内部的分裂和军阀割据的状况比以往任何时候都更为严重，而段祺瑞作为北洋前辈，与各地军阀都有渊源，加上皖系尚有一定的潜在实力，他这个执政不过是在几派军阀相持不下的情况下，作为平衡关系被请上台的，因此他不得不看张、冯的眼色行事。正如冯玉祥在段祺瑞入京之日对其重要将领所说：“……就是段芝泉出山，也是个木头人。”
张作霖的形容更加贴切：“就像只北京烤鸭。”意即段祺瑞夹在冯、张矛盾之中，前后受煎烤，左右不是人。
1925年12月，面对内忧外患以及学潮的困境，段祺瑞为了减轻自身的压力，在执政府下增设国务院，以把针对执政府的示威游行转向内阁。而在新组的内阁中，大部分总长都是亲近冯玉祥的人物。
恰在此时，徐树铮自国外考察回到上海，提出直皖奉大联合，北洋派大团结，拥护段祺瑞为唯一领袖的主张。并与直系孙传芳、齐燮元等督军会晤，商议联合对抗冯玉祥和准备北伐的革命军。
此间，段祺瑞以京津局面混乱对徐树铮极为不利，电嘱徐树铮暂缓进京。但徐树铮不以为然，自觉肩负使命，一定要尽快进京，依照礼法复命。12月19日，徐树铮由上海乘船北上。一路上，段祺瑞又数次发电并派员阻止他进京，徐树铮仍不为所动。
12月23日，徐树铮来到北京。见到徐树铮，段祺瑞虽然满心欢喜，但担忧更甚，他责备徐树铮：“说了不让你来，你为何如此任性？这里是冯玉祥的地盘，他现在对你恨之入骨，你竟如此大胆，硬要往火坑里跳！”
段祺瑞所言，是指徐树铮杀害冯玉祥的舅舅陆建章的一笔旧账。早在段祺瑞与冯国璋为主战还是主和明争暗斗时，陆建章悄然前往天津，准备说服曹锟重回直系。徐树铮为避免不利于段祺瑞的局面发生，盛情邀请陆建章到奉军驻津司令部做客。在电话中，平日目高于顶的徐树铮，一口一个前辈，态度极尽恭谨。第二天陆建章如约前往，徐树铮亲自在门口迎候，席间亲自为陆建章斟酒，饭后又邀陆建章到后花园密谈。陆建章毫无戒备地欣然前往，岂料，当两人在后花园中边走边谈的时候，卫士从后面向陆建章开了枪。
徐树铮如此不顾后果、明目张胆地枪杀了陆建章，自然遭到冯玉祥的记恨，加上徐树铮联合直奉倒冯，段祺瑞担心他会遭到冯玉祥的暗算，所以一再告诉他不要进京。可徐树铮还是来了，他说：
“年关将至，无论多危险，也得来看望一下芝老。”
徐树铮说着，眼圈红了。徐树铮向来以处事干练果断心狠手辣而著称，但对段祺瑞却是忠心耿耿，感情至深。段祺瑞深受感动，想到目前境遇，心情无比沉重。此后，两人就联合直、奉打击冯玉祥，重建皖系势力做了详细商议。
既然来了，段祺瑞就劝徐树铮住些时日，过了风头再走。可徐树铮是个急性子，只在北京待了5天就要匆匆南下，段祺瑞只好通过交通总长为徐树铮安排了专车。12月29日，也就是徐树铮离开北京的当天，段祺瑞在书桌上发现一张字条，上面写着：“徐树铮不可行，行必死。”
段祺瑞赶紧把字条拿给徐树铮，阻止他南下。但徐树铮看到字条后，只是淡淡一笑，根本没当回事，他认为枪杀陆建章那笔旧账已过去多年，冯玉祥未必会对他施行报复，而当时国民军四面楚歌，冯玉祥不能不顾及影响，执意当日离去。
然而，徐树铮的入京早已给冯玉祥敲响警钟，尤其他在上海报馆发表谈话，公开提出直皖奉大联合，令冯玉祥感到严重威胁，值此冯奉大战爆发在即，为防止段祺瑞倒向奉系，冯玉祥已做好刺杀徐树铮的准备。
徐树铮的专列从北京开出后，冯玉祥立即对驻廊坊的张之江下达了行刺命令。当天夜里车到廊坊，张之江的手下强行将徐树铮拖到车下枪毙。随后，冯玉祥派人连夜将陆建章的儿子陆承武送到廊坊，第二天便在各报刊出陆承武为父报仇的新闻，以此掩盖徐树铮被国民军枪杀的事实。
段祺瑞与徐树铮的感情，远远胜过袍泽之情，甚至胜过父子之情。徐树铮的死讯犹如晴天霹雳，令段祺瑞呆若木鸡，继而失声痛哭：“断我股肱！断我股肱！”都说徐树铮是段祺瑞的灵魂，如今“灵魂”不在，段祺瑞一夜之间苍老了许多，他为此恨透了冯玉祥，从此与冯玉祥的关系彻底破裂。
1926年2月，冯奉战争拉开序幕。3月12日，日本军舰驶入大沽口，炮击国民军；16日，日本以国民军破坏《辛丑条约》为由，纠集签订《辛丑条约》的八国公使，向段祺瑞执政府发出最后通牒，要求拆除大沽口国防设施，并集各国军舰于大沽口，以武力威胁北洋政府。
八国的最后通牒激怒了中国人民，3月13日起，北京开始爆发大规模学潮。3月18日，众多学生聚集在执政府门前广场列队请愿，广大市民也纷纷加入其中。在这次请愿中，执政府卫队开枪射杀请愿群众，造成46人死亡，150余人受伤，酿成历史上著名的“三一八惨案”。
当时段祺瑞在家中养病，没有去执政府，究竟是谁下令开枪，不得而知。段祺瑞得知惨案发生后，异常震惊，立刻下令严惩凶手，接着赶到事发现场，面对死者，长跪不起。他哽咽着宣布自己将终身食素，以示忏悔。
“三一八”惨案发生后，执政府已丧尽民心。1926年4月20日，段祺瑞通电下野，自此，他在民国舞台上的表演彻底结束。
段祺瑞下野后回到天津，在租界做起寓公，表面上不问政事，每日埋首棋局，而他的目光却一直没有离开过政局。
两个多月后，蒋介石就职国民革命军总司令，誓师北伐。当时，北洋政府被奉系军阀所控制，东山再起的直系军阀吴佩孚占据两湖、河南、河北、陕西，控制京汉铁路，直系军阀后起之秀孙传芳占据长江中下游。北伐军一路势如破竹，北洋军阀很快败下阵来。1928年6月，张作霖撤离北京，乘专列在皇姑屯被日本关东军预埋的炸药炸成重伤，随即死亡。12月末，张学良宣布东北易帜，中国大陆地区在形式上统一在了蒋介石的国民政府之下。
1930年，冯玉祥、阎锡山、李宗仁等联合反蒋，日本人认为有机可乘，打出“北洋派大同盟”旗号，推举段祺瑞主政，吴佩孚主军，试图在北京组织政府。段祺瑞对时局看得很清楚，知道反蒋成功之希望甚微，因此一口回绝，而“北洋派大同盟”果然很快土崩瓦解。
但日本人仍不死心，日本特务头子土肥原四处活动，想要拉拢段祺瑞和溥仪，还安排两人在载沣家中会晤。然而这次会晤进展并不顺利，溥仪端着皇帝的架子让段祺瑞十分不屑，而段祺瑞一副执政的架势，溥仪也看不顺眼，于是两人不欢而散。段祺瑞曾对身边人愤怒地说：
“鄙人不才，忝为国家元首……这小子到今天还摆皇帝的臭架子，真是岂有此理！”
九一八事变发生后，日本人扶持溥仪在东北建立了伪“满洲国”，随后又将矛头指向华北地区，企图利用段祺瑞在北洋军人中的影响，建立华北伪政权，由段祺瑞做华北伪政府首脑。但无论日本人如何拉拢利诱，均被段祺瑞一口回绝。
虽然段祺瑞坚决不为日本人做有损中国利益的事，坚决不下水做汉奸，但日本人的一次次拉拢让蒋介石非常不安。蒋介石生怕段祺瑞与日本人合作，号召北洋军人对抗南京政府，所以对段祺瑞极力拉拢。由于蒋介石是保定陆军学堂的学生，所以他以段祺瑞学生的身份会见段祺瑞的侄子段宏纲，请他帮忙说服段祺瑞南下。
随后，蒋介石又派国民党要员、合肥人吴忠信北上看望段祺瑞，并为他送去二万元生活费。蒋介石知道段祺瑞下野后生活拮据，以后每过一段时间，就会为段祺瑞送去一笔生活费。1933年初，蒋介石又亲笔致书段祺瑞，恳请他“南下颐养”，段祺瑞为避免日本人“骚扰”，决定答应蒋介石的请求。
他对前来送信的交通银行董事长钱永铭说：“我已经老不中用了，如中正认为我南下于国事有益，我可以随时上路。”
1月21日，段祺瑞悄悄离开天津南下。抵达南京时，南京所有少将以上的军官早已过江在南京浦口车站等候迎接，迎接队列达600多人，大家高举“欢迎抗日救国元老段老先生”、“欢迎三造共和的段老先生”等横幅，簇拥着段祺瑞登上长江轮渡。
蒋介石一身戎装，亲自前往下关码头迎接段祺瑞。远远看到段祺瑞乘坐的船朝岸边驶来，蒋介石便吩咐乐手奏起军乐。船一靠岸，蒋介石率先登船，先是向段祺瑞敬礼问好，接着恭敬地将段祺瑞搀扶下船。这天晚上，蒋介石率南京军政要员设宴款待段祺瑞，第二天，又陪同段祺瑞拜谒了中山陵。
由于段祺瑞的女儿在上海，于是段祺瑞决定去上海居住。1月23日晚，段祺瑞结束了在南京两天一夜的旅程，乘火车来到上海，住在法租界霞飞路1487号陈调元的公馆里，蒋介石每月赠送一万元生活费，将段祺瑞供养起来。
二妻五妾，原来执政不风流
段祺瑞先后娶了两房太太和五房姨太太，第一位太太吴氏去世后，留下一儿一女。第二位太太张佩蘅，也就是袁世凯的干女儿，生了四个女儿。而他的五房姨太太，都是张夫人先后为段祺瑞讨进门的。张夫人因为没有儿子，生怕别人说她不够贤惠，不得已而为之。
大姨太陈氏，早在1914年便过世了，留下一儿一女均不幸早折；二姨太边氏只生了一个女儿；三姨太和四姨太都姓刘，仆人们称她们为刘三、刘四。五姨太姓李，便顺着称为李五。这三个姨太太出身都很低微，都是花钱买进门的。
段祺瑞脾气很大，在家中说一不二，对夫人、姨太太要求很严，但从某种角度来说，他的治家却很失败。他本人素有“六不沾总理”之称，即不贪污肥己，不卖官鬻爵，不抽大烟，不酗酒，不嫖娼，不赌钱。他尤其痛恨抽大烟，没想到他的夫人、姨太太个个背着他抽大烟。
段祺瑞下野之初，住在天津日租界须磨街他的部下魏宗翰的公馆里，第二年应皖系下属田中玉之邀赴大连疗养，随行的有张夫人和二姨太，留在家里的几个姨太太没了管束，常常打扮得花枝招展偷偷溜出去看电影、听戏、划船、逛市场，四处招蜂引蝶，常常半夜三更才回公馆。
段祺瑞返回天津后，突然发现家里有什么不对劲。下人们在窃窃私语，三姨太和四姨太说话总是躲躲闪闪。有天夜里段祺瑞睡不着，一个人起来到院子里散步，正好撞到三姨太从外面归来。当时段祺瑞的惊愕无异于见到了外星人，他完全没有想到自己的女人竟然打扮得像歌女，而且夜半归来！
三姨太也惊呆了，吓坏了。她了解段祺瑞的脾气，知道等待自己的是凶多吉少。段祺瑞注视着三姨太，照着三姨太的脸一掌打过去，喝斥道：“不要脸的东西！”
第二天，段祺瑞吩咐张夫人将三姨太送回在北京的娘家。张夫人早已听说了三姨太和四姨太的风流韵事，只是一直瞒着段祺瑞。以段祺瑞的脾气，她担心会闹出什么大事。如今见段祺瑞如此冷静，倒也放下心来。只是三姨太哭着闹着不肯离去，让她有些于心不忍。
送走了三姨太，不久四姨太的风流韵事又传了出来，段祺瑞一怒之下又将四姨太休掉，打发回了娘家。
对于子女，段祺瑞更是要求严格，而且从不给什么特殊照顾。吴夫人所生长子段宏业，从小寄养在亲戚家，十几岁才回到段祺瑞身边，虽然没有受过良好教育，但与段祺瑞一样，十分喜爱围棋，是当时围棋界里响当当的人物。正因为如此，段祺瑞对段宏业十分喜爱。但仍没有为他的前途铺平道路，而是教育他从最低层做起，靠自己的能力一步步向高处攀登。
段祺瑞治家严明，夫人姨太子女都不得干预公事。有一次一个姨太太想替一位老妈子的亲戚谋个差事，在段祺瑞面前求情，段祺瑞一听气得鼻子都歪了，怒斥道：“你想买官吗？得了人家多少钱，快说！”
这位姨太太委屈得当场就流下了眼泪，但段祺瑞毫无怜香惜玉之情，又将她狠狠训斥一番才罢休。从此，家中再也没有人敢向段祺瑞求情。
段祺瑞当官以后，合肥老家经常来人拜访，目的是想求他给谋个好差使，段祺瑞一概不予办理，只是好吃好喝地招待这些亲戚几日，然后给些钱将他们打发走。就连他的胞弟段启甫上门，他也是毫无情面。当时他已任国务总理，安排个差使是一件很简单的事，但段祺瑞认为段启甫不是做官的料，对他说：“你不适合做官，还是给你一笔钱，回家做个买卖吧。”
因此，段祺瑞的亲朋好友中很少有做官和发大财的，这在当时的军政要员中极为罕见。
唯一的一次破例，是段祺瑞为他的一个远房侄子安排了事由。他见那个侄子能吃苦，是个可造之材，就给他谋了个军校的勤杂工。令段祺瑞意外的是，这个侄子没当几天勤杂工，很快被升为军需采办。这不是因为他个人有什么能力，而是因为他是段祺瑞的亲戚，军校负责人处处巴结他，心甘情愿把这个肥缺送给他。
这个侄子当上军需采办后，异常高兴，决心尽职尽责做好这份工作，可每天看着从自己手中流过的白花花的银子，他很快便把持不住，手脚变得不干净起来。直到捞足了油水，他才想到这一切都是沾了族叔的光，于是决定登门拜访段祺瑞。
一进段府，这位侄子看到一位妇女正和一个米贩子讨价还价，妇女虽衣着普通，但言谈举止很不一般，一看就是段府女主人。这位侄子不由得暗暗吃惊，想不到族叔做了那么大的官，家里买米还要如此算计。
这位侄子没有进去拜见族叔，而是转身离开了段府。第二天，他带着一辆大车来到段府，车上装满了米面油盐、鸡鸭鱼肉等食物。他向段祺瑞的续弦夫人张佩蘅做了自我介绍，然后说：“以后我每月都来送食物，您再也不用和那些小贩子讨价还价了！”临走前，他还特意嘱咐张夫人，不要将此事告知族叔，他早就听说段祺瑞不收礼，担心这些东西被送回。
可是段祺瑞治家甚严，张夫人岂敢隐瞒，当天晚上便将此事告诉了段祺瑞，段祺瑞听后立即火冒三丈：“这小子哪来这么多钱？还要每月都送，我倒要看看他这些钱是哪儿来的！”
不久后，段祺瑞到军校视察，特意向学员们打听伙食问题，学员们普遍反映菜种单一，而且不新鲜，米也不好。段祺瑞气呼呼地来到伙房一看，果然如学员们所说，他立刻叫来军需主任，劈头就是一顿臭骂。军需主任哆哆嗦嗦，只是嗫嚅道：“这不关我的事，这不关我的事……”再问他，他又说不知道，气得段祺瑞吼道：“不知道是吧，那就给我拖出去打50军棍！”
这话果然见效，军需主任立刻口齿清晰地供出段祺瑞的侄子，并拿出账本给段祺瑞过目。段祺瑞早就对他侄子有所怀疑，如今人证物证俱在，立刻叫人把他侄子绑了来，“赏”了他100军棍。100军棍足以要人性命，幸亏执行人手下留情，这个侄子才保住性命，但也因此落下终身残疾。
打完侄子，段祺瑞又做出一项惊人之举，他不顾别人劝阻，主动走进禁闭室，不吃不喝地在里面待了整整两天，以惩罚自己任用私人。
而段祺瑞本人也从不收礼。有一次，江苏督军齐燮元送给他一个精致的围屏，围屏上镶有各种宝石，五颜六色，光彩夺目，一看就知价值不菲。段家的人看了都爱不释手，甚至半夜里偷偷起来玩赏。可第二天早上，段祺瑞见到围屏，只是淡淡地扫了一眼，就叫人给齐燮元送回去了。
