张作霖十分清楚，吴佩孚表面是骂梁士诒，实际矛头直指他张作霖。他身为梁士诒靠山，自然不能眼看着梁士诒被直系扳倒，于是出面为梁士诒辩护。如此一来，内阁问题即演变为张作霖和吴佩孚之争，奉系和直系之争。梁士诒有张作霖支持，自然挺直腰杆，不畏惧直系的“电报战”，继续做他的国务总理。
然而，随着全国对梁士诒的声讨愈演愈烈，徐世昌见事态日益严重已无法收场，只好暗示梁士诒下台。梁士诒虽然不舍，但还是决定到天津一避。梁士诒走后，徐世昌立即令外长颜惠庆署理国务总理。
梁士诒的倒台，令张作霖怒不可遏，他不甘心就此输给吴佩孚，不仅致电指责徐世昌，并且宣称将对直系付诸武力。而张作霖对直系用兵以独霸北京政权的想法由来已久，直皖大战不久奉系便开始大肆扩军，除在东北招兵外，还派人在通州招兵，为直奉大战做准备，并与皖系残余势力，以及孙中山联络，与段祺瑞、孙中山组成“反直三角同盟”。
4月19日，一切准备就绪，张作霖通电宣布，将率兵入关，“以武力为统一的后盾，扫除祸国殃民、结党营私、乱政干纪之分子”。吴佩孚也反唇相讥，列举张作霖十大罪状，辱骂张作霖为“白山黑水之马贼”，表示“佩孚以身许国，为国锄奸，惟有尽我天职，除暴安良，义无反顾”。张作霖立刻反击，历数吴佩孚罪状，将吴佩孚比作安禄山、史思明。
4月29日，张作霖对奉军下达总攻击令，第一次直奉战争爆发。
由于奉军兵力武器皆在直军之上，最初的战事对奉军有利，特别是东线，捷报频传。然而，西线战场上，吴佩孚对奉军实行包抄作战，使奉军背腹受敌，加上奉军第十六师邹芬所部阵前倒戈，西线奉军迅速溃败。
西线战败消息传来，东线奉军士气大减，而吴佩孚也迅速加入到东线作战，使得东线战势骤然逆转。5月4日，张作霖亲赴落垡督战，希望能扭转战局，无奈奉军兵败如山倒，败局已定，张作霖不得不下达了退却令，率兵向关外退去。
奉系兵败撤退后，直系掌握了北京政权。5月10日，徐世昌在吴佩孚的逼迫下，下令解除张作霖东三省巡阅使、蒙疆经略使、奉天督军及省长等本兼各职。张作霖虽然战败，但主力部队并未受到大的创伤，“东北王”的声势依然浩大，加上有日本人做后盾，张作霖根本没把中央的命令放在眼里。5月12日，张作霖在滦州宣布独立，19日，东三省宣布实行联省自治，张作霖被推举为东三省保安总司令兼奉天省长。牢牢控制住东三省的张作霖，从战败的第一天起，就开始为下一次进军中原做准备。
第一次直奉大战中，奉军兵力武器皆在直军之上，在如此优势下迅速溃败，不能不令张作霖深刻反思。奉军素质低下已是不争的事实，而旧的绿林以及行伍出身的军官，是无法带出一支训练有素、能参与到现代化战争中的军队的。于是，张作霖开始招揽人才，重用新派将领，并于1922年秋成立整军经武最高执行机关——“东三省陆军整理处”，实行“精兵主义”，将奉军重新整编为27个旅，统一名称为“东三省陆军”。1922年8月，张作霖在东三省保安总司令部下设航警处，后在葫芦岛炮台山建立航警学校，为海军培养和输送人才。1923年春，张作霖又设立“东三省航空筹备处”，并设立航空学校，积极培养航空人才，选拔优秀青年到国外受训，并从德国、法国花重金购进大批新式飞机。此外，还扩建兵工厂，扩建陆军粮秣厂，制造先进武器和军需用品。
即便这样，张作霖仍旧担心，凭借奉军一己之力，不足以与直系相抗衡，于是积极联络同样仇视直系的皖系段祺瑞、皖系浙江督军卢永祥、南方孙中山，再组“反直三角同盟”。就在这时，曹锟通过贿选当上总统，吴佩孚目空一切，独断专行，到处树敌，张作霖看准直系内部纷争不断，极力拉拢吴佩孚的死对头、受吴佩孚排挤的冯玉祥。
1924年，听闻冯玉祥将与李德全女士结婚的消息后，张作霖派张学良前去祝贺，并将他拉入“反直三角同盟”。此后，张作霖和冯玉祥多次联络，得知冯玉祥缺乏军饷后，慷慨解囊，秘密资助其140万元，战前两人还达成协定：“如两军相遇，均应向天空鸣响。”
1924年9月3日，直系江苏督军齐燮元为从皖系浙江督军卢永祥手中收回上海，发动了江浙之战。张作霖立刻抓住时机，以反对直系发动江浙战争为名，率22万大军，向九门口、山海关、热河进军，9月15日，第二次直奉战争爆发。
战争首先在热河地区爆发，因为此地为直军防御最为薄弱之处，趁着直军援军未到，奉军展开迅速而猛烈的进攻，于10月初占领热河全区。在山海关正面战场，奉军投入重兵，对直军发起猛烈进攻。但直军借助有利地形，顽强抵抗，奉军始终无法打开突破口。
于是，张作霖令姜登选、韩麟春转而向防守薄弱的九门口发起进攻，于10月8日顺利占领九门口，17日占领石门寨，战局对奉军十分有利。但接下来，由于直军援军抵达前线，战局急转而下，19日，九门口又被直军重新夺回，两军在山海关一带形成对峙局面。
就在两军难分胜负之时，23日，冯玉祥倒戈回京，发动北京政变，吴佩孚离开前线回救北京，张作霖得讯后，立即派人印刷大量传单，用飞机投掷直军阵地。传单上写着：“冯玉祥发动北京政变，吴佩孚阵前逃跑，直军退路已被奉军阻断，唯有投降一条途径。”这则消息在直军中掀起轩然大波，直军军心立即溃散，内乱迭起，而奉军则迅速切断直军后路，使得直军全线崩溃。
至此，第二次直奉大战以奉军获胜而结束。应该说，冯玉祥的倒戈成为奉军战胜的关键，但也正因如此，张作霖在打败直系后，又面临了一个新的“敌人”——冯玉祥。
松龄倒戈，张作霖后院失火
冯玉祥进入北京后，即控制了北京政权，他将总统曹锟囚禁，驱逐清逊帝溥仪出宫，改所部为中华民国国民军，电请孙中山北上共商国是，并请段祺瑞出面主持时局。
11月10日，张作霖乘专车抵达天津。张作霖取得了直奉战争的胜利，本想独自控制北京政府，没想到冯玉祥捷足先登，率先推举了段祺瑞，心中极为不满。但事已至此，也只好力主推举段祺瑞，希望能与段祺瑞联手抵制冯玉祥。
第二天段祺瑞在天津曹家花园设宴，盛情款待张作霖与冯玉祥。宴会致辞时，张作霖当着几十名作陪的权贵与高级军官，先是谦虚地表示“军人保卫国家是分内事”等等，然后话锋一转说：“不过咱们收买的人，不能与起义的人相提并论。”
张作霖话音一落，冯玉祥的脸色变得青一阵紫一阵。冯玉祥对张作霖本来心怀不满，据其所说，两人在联合倒直暗通款曲时，张作霖曾有“只要达到和平，奉军也可以不入关”的表示。但早在张作霖到天津之前，奉军已有两个师开进天津驻扎。因此冯玉祥在赴宴之前，特意将胡子剃去。宴席上有人问他怎么将胡子剃掉了，他立即提高音量回答：“胡子不能要，非去不可。”
两人一个瞧不起对方倒戈，一个蔑视对方的胡子出身，合作之局尚未开始便已呈针锋相对之势。段祺瑞为了能促使双方坐下来就时局问题举行会议，只好双方劝解，总算使两人表面上做出让步，使天津会议得以召开。但由于三人各打自己的小算盘，在敏感问题上很难达成一致。
冯玉祥原想在政变后以北方为自己的势力范围，借控制北京政权之便利，扩大地盘，发展军事实力，因此不希望奉军入关。但张作霖发动直奉战争的目的就是要问鼎中原，岂有不入关之理？非但如此，张作霖还以根除直系残余势力为借口，表示“一定要进兵长江一线”，一心要将自己的势力扩展到江南。
但段祺瑞出于自身利益的考虑，不希望奉军对直军穷追猛打，企图使直、皖残余势力与奉、冯势力相互并存，使他本人在成为直、皖、奉、冯北洋派唯一领袖的同时，使各派之间相互制衡。最后，此次会议以段祺瑞的意见形成四项决议：
一、奉军在津浦线进至德州为止；
二、不对东南用兵；
三、允许吴佩孚和平下野，不下通缉令；
四、召集全国善后会议讨论组织政府和一切善后问题。
11月24日，段祺瑞在北京宣誓就职中华民国临时总执政，由于临时政府组织条例规定临时政府不设内阁总理，由临时执政主持国务会议，因此段祺瑞成为集总统与总理于一身的政治傀儡。
张作霖进京之后，很快与段祺瑞联手，处处排挤冯玉祥。冯玉祥自知不是两人的对手，便以退为进，要求去京西天台山休养。张作霖与段祺瑞假意挽留一番，便任冯玉祥上了天台山，北京政权落入张、段两人手中。
随后，奉军大举入关，分驻京津、京奉、津浦各铁路沿线。段祺瑞深知他的执政地位是建立在张、冯军事均势之上的，一旦这种均势被打破，他即刻便会地位不保。为了均衡张、冯势力，他在地盘划分上煞费苦心，终于在张作霖可以接受的情况下，于1925年春任命冯玉祥为西北边防督办。在张作霖看来将冯玉祥赶到西北方，为他的扩张扫清了障碍，但冯玉祥的国民军也因此先后取得了察哈尔、绥远、河南、甘肃、陕西以及包括北京在内的京汉线北段为自己的地盘。段祺瑞又任命张作霖为东北边防督办，满足了张作霖从津浦线向长江下游一带扩张的愿望。
之后，段祺瑞任命王揖唐（皖系）为安徽督军、卢永祥（皖系）为苏皖宣抚使兼江苏督军，由奉军护送南下。张作霖为此组织南下宣抚军，任命姜登选、韩麟春为宣抚军正副总司令。由于卢永祥、王揖唐本身已无实力，到任后不得不依赖奉军支持，因此苏皖地盘实际已落入奉系之手。6月下旬，段祺瑞任命奉系邢士廉为上海警备司令，使奉系触角正式进入东南财富中心。随后，又任命杨宇霆为江苏军务督办，姜登选为安徽军务督办。至此，张作霖在占据东三省、直隶、山东、热河等地的基础上，又先后占据了苏、皖、宁、沪等地，已手握三分之一个中国，其声势浩大，无人能及，他自豪地对左右人说：“三五年内我不打人，绝没人敢打我。”
然而，张作霖没有想到，江浙巡阅使兼浙江督军孙传芳就敢打他。1925年10月10日，孙传芳以浙、闽、苏、皖、赣五省联军总司令的名义通电讨奉，10月16日，孙传芳率部进攻并占领上海，紧接着进攻江苏、安徽，一路势如破竹，奉军几乎毫无抵抗便缴械投降或溃败逃走。孙传芳仅用5天，就将奉军赶出苏皖地区。1925年11月，孙传芳占领徐州，逼得奉军退至山东，这才停止进攻。
正所谓祸不单行，就在张作霖痛失江南地盘之后，又一个重大打击接踵而来。
11月22日下午2时，奉系干将郭松龄在滦州车站偏西的一个火柴公司内，召集津榆驻军司令部所属各军师旅长以上军官开会，会场上，郭松龄慷慨陈词，对张作霖及其总参谋长杨宇霆的穷兵黩武表示强烈抗议，并宣布成立东北国民军司令部，全军打回奉天，清除奸佞杨宇霆。他将原属张学良的第三军团改编成五个军，总司令取张学良的名号，自任副总司令。
当日晚，张作霖即在奉天帅府得知此讯，他暴跳如雷，对张学良说：“好个郭茂宸（郭松龄字），我就知道他没安好心，只有你这么信任他，把奉军精锐部队全部交给他，这下好了，我看你拿什么和他打！”
张学良无言以对，看着汇报郭松龄倒戈的电报，一时惊愕万分，以致面色苍白，浑身发抖。
张学良与郭松龄的关系非同一般。郭松龄系同盟会会员，武昌起义后曾在奉天响应革命，被张作霖的巡防营逮捕，民国成立后释放。此后，郭松龄投入奉军，任陆军讲武堂教官，与在此学习的张学良相识，深得张学良赏识与敬重。1920年张学良出任巡阅使署卫队旅长，调任郭松龄为卫队旅参谋长；张学良任奉天陆军第三混成旅旅长时，即升郭松龄为第八混成旅旅长。张学良军务繁忙，无暇管理第三旅，索性将第三旅交由郭松龄全权负责，两个旅合称“三八旅”。张学良曾对人说：“我即郭茂宸，郭茂宸即我。”在第二次直奉大战之前，张作霖将22万奉军改编为六个军，张学良、郭松龄分任第三军正副军长。
郭松龄治军严谨，“东三省陆军整理处”出台的各种规章制度，皆出自郭松龄之手，同时他又屡立战功，两次直奉大战中均表现突出。然而战后论功行赏，杨宇霆、张宗昌、姜登选、李景林均被安插在不同的省份，唯独对郭松龄，张作霖借口军事需要，没有给予任何地盘，这让郭松龄心怀不满，遂起反叛之心。
由于冯玉祥对孙传芳驱奉之战给予了支持，张作霖在准备夺回江南地盘的同时，决定先行讨冯。但郭松龄已经厌恶打内战，遂联合数名将领提请张作霖停止内战，退兵北上，保境安民，引起张作霖的警觉。张作霖将奉军组成六个方面军团，在组建第三方面军时，有意压制郭松龄，控制他与张学良事权不分的情况，在任命张学良为军团长时，并没有相应地提升郭松龄为副军团长，而是另任于珍为副军团长，任命郭松龄为该集团军第十军军长，令郭松龄更为不满，遂坚定了反奉决心。
1925年10月，郭松龄代表奉军到日本观操时，趁机与冯玉祥取得联系，迈出反奉第一步。
就在此时，张作霖急召郭松龄返回天津，商议对冯玉祥作战大计，而郭松龄返回天津后，立即代表张学良组织第三方面军司令部，自己大权独揽，对第三方面军所辖第八军、第九军、第十军所有带兵军官进行调整，全部换上自己的亲信，为反奉做好准备。之后，郭松龄即托病住院，并与冯玉祥频繁往来，此时，张作霖对郭松龄的动机有所觉察，拟调回郭松龄以军法处置，或让安徽督办姜登选（此时已被赶出安徽）前去接收兵权，并将其就地正法。
这个消息被郭松龄的妻子韩淑秀得知。韩淑秀因与张作霖的五夫人过从甚密，在张作霖卫士中安插了暗探，得知此讯后，立即以探病为名赶到滦州给丈夫报信。郭松龄感到事不宜迟，立刻与冯玉祥签订反奉密约，并于22日召开了滦州会议。
张作霖闻变的第二天，即将郭松龄倒戈消息电告黑龙江军务督办吴俊升、热河都统阚朝玺和热河驻军汤玉麟、穆春等人，召他们即日赴奉商议作战。同时电告山东督办张宗昌：与受国民军压迫的河南赵倜保持联系，今后应负北方大局，吾弟须掌握底队（即最可靠的部队），支持山东局面。
24日，郭松龄通电倒奉，历数张作霖和杨宇霆罪状，要求张作霖下野，由张学良子承父业。随之，直隶督办李景林通电附和。但当郭松龄兵至锦州后，李景林立刻改变态度，不仅指责郭松龄不忠不孝，而且公开向郭松龄宣战，从背后构成对郭军的威胁，并于12月2日释放被郭松龄拘押在天津的奉军高级军官，与张宗昌组成直鲁联军，拒绝冯玉祥假道援助郭松龄。为此，冯军向直鲁联军进攻，占领了天津。
郭松龄通电倒奉后，继而通电就任东北国民军总司令，以“清君侧”名义挥师北上。与此同时，张作霖也下令讨伐郭松龄。
奉军先在榆关阻击郭军，接着退守连山—葫芦岛一线。时值天降大雪，气候恶劣，郭军士兵仅着单衣夹鞋，多聚集于民宅取暖。百姓说：“郭鬼子（郭松龄绰号）带一帮饿鬼，把我们一年的粮柴吃光烧光了。”张作霖见郭军如此狼狈，忙问卜占课，都说交大雪节令，郭松龄必败亡。然而，12月3日，张作霖却得到连山失守的消息。连山为兵家必争之地，连山防线一破，锦西、锦州接连被攻陷，而锦州距离奉天仅有200多公里，郭军已直接威胁到张作霖的老巢。
在连山防线被攻破之时，张作霖已做好弃奉天逃往大连的准备，即将府中贵重物品装满卡车，同时备好专用汽车，随时准备弃城出逃。更有人说，张作霖已经备妥火油，准备在逃跑时将帅府付诸一炬。此时，奉天城内的市民、商号也纷纷搬家运货，全城一片混乱。
就在这个危急时刻，日本人站了出来，鼎力支持张作霖。日本方面起初没有表示支持任何一方，只是密切关注战事，准备在关键时刻，支持有利于日本侵略中国政策的一方。郭松龄占领锦州时，日方派人向郭松龄提出，若他肯割让金州、复州、海城、盖平，日本便为其提供方便，但遭到郭松龄严词拒绝。而杨宇霆在张作霖默许的情况下，与日方签订反郭“密约”，许诺将会履行“二十一条”中日本在满蒙享受特权的条款。于是，日方以保护南满铁路为借口，向郭松龄发出警告，禁止郭军在南满铁路附属地20华里以内有军事行动。由于南满铁路南起大连北至长春，日方此警告，几乎隔断了郭军入奉天之路。与此同时，日方还调动了关东军守备队予以协助奉军。
日方的介入给张作霖赢得了调兵遣将的时间，奉军士气大增，同因饥寒交迫而厌战的郭军形成鲜明对比。12月23日，吴俊升用飞机侦察到郭军后方空虚，即迂回夜袭郭松龄总司令部所在地白旗堡，使郭军腹背受敌，一时阵脚大乱。张学良看准时机，在正面战场发起猛烈攻击，胜负立见分晓，郭松龄夫妇无奈，只得乔装逃走。24日凌晨，奉军于菜窖中寻得郭松龄夫妇，在杨宇霆的密令下，将郭氏夫妇就地枪杀。
然而，对于日方的军事援助，胡匪出身的张作霖从未打算履约。1926年张作霖在专程答谢日本关东军司令时，日方立即提出请张作霖履行讨伐郭松龄时对日方的承诺，张作霖笑笑说：“这样重大的事，不经东三省民意通过，我不敢做，做也无效啊。”
日方很不高兴，拿出有杨宇霆亲笔签字、盖有张作霖名章的中日双方协定文件。张作霖又笑笑说：“我的名章有三个交给杨宇霆办公用的，分别是：财物用的、人事用的、公文用的，对外签订条约是不起作用的。”
消灭了郭松龄，接下来张作霖要对付的，便是支持郭松龄倒戈的冯玉祥。张作霖将同样憎恨冯玉祥的吴佩孚拉到奉军一方，两人联手讨冯。1926年3月5日，奉军占领滦州；13日，吴佩孚占领河南；23日，张宗昌与李景林组成的直鲁联军占据天津；4月18日，奉军进占北京，冯玉祥被迫通电下野，国民军撤至南口，张作霖再一次掌控了北京政权。
战败出关，皇姑屯被炸身亡
1926年6月28日，张作霖和吴佩孚在北京会晤，二人携手共赴居仁堂，参加杜锡珪内阁的“庆功宴”，一路上两人有说有笑，神情亲昵，让人无法联想到，不久前两人还在为争夺北京政权争吵不休。但当他们意识到，北面冯玉祥虽然下野，却在接受苏联军事援助积极备战；南方国民革命军也在磨刀霍霍，准备誓师北伐，两人立即又抱成一团，达成“军事为先，政治缓议”的共识，决定由海军总长杜锡珪代行国务总理之权。
为了利用吴佩孚打下南口，张作霖对吴佩孚殷勤备至，吴佩孚对张作霖也表现得亲密无间，还对报界说：“我和雨亭就像新婚夫妇，偶尔拌几句嘴是免不了的。日子一久，我们的感情就会一天天浓厚起来。”
然而在宴会上，双方却演绎了一出彼此猜忌的戒备战。当时大家都在安静地聆听乐曲，突然不知从什么地方传来“噗”的一声响，两人的随从立即在保护各自主子的同时拔枪相向。这时，顾维钧站起来说：“不好意思，是我的礼帽从衣架上掉到了地上。”张、吴的随从这才收起手枪，从双方随从对对方的戒备，足见两人关系的紧张程度。
此次会晤，张作霖和吴佩孚达成协议，双方合兵，由吴佩孚指挥负责进攻南口，再返回汉口向南攻打广东革命根据地；张作霖则继续攻打北方的国民军，之后共分天下。
然而，在吴佩孚攻打南口时，北伐军已迅速攻占湖南，并向湖北进军，吴佩孚只好匆忙挥师南下，由张学良、张宗昌指挥继续攻打南口。8月13日，国民军退至仓头、绥远一带。而吴佩孚在南方战场却接连失利，于9月7日逃往河南，10月6日逃往郑州，不久又逃往四川。张作霖趁机以“援吴”为名，抢占吴佩孚的地盘，于10月1日派兵南下，占领了吴佩孚控制的保定、大名。
北伐军打败吴佩孚后，继而将目标放在孙传芳身上，11月初，孙传芳在江西战场战败，向张作霖紧急求援。张作霖为了直接成为北京政府首脑，同时组织各方面军事力量共同抵御北伐军与国民军的南北夹击，于11月14日在天津蔡家花园召开北洋各派代表参加的会议。在会上见到孙传芳，张作霖早已忘记其联冯反奉的旧怨，当即问：
“你有多少军队？”
孙传芳答：“直属部队5万，联军20万。”
张作霖当即表示：“我东三省有兵力80万，加上直鲁联军不下百万，我们同心协力，联手‘讨赤’！”
11月29日，孙传芳、张宗昌以直、鲁、豫、苏、皖、赣、浙、闽、陕、晋、察、热、绥、吉、黑15省区联名的形式，拥戴张作霖为安国军总司令。12月1日，张作霖在天津蔡园就职，发表“讨赤”宣言，并任命孙传芳为安国军副总司令仍兼苏、皖、赣、闽、浙五省联军总司令，张宗昌为安国军副总司令仍兼直鲁联军总司令，杨宇霆为总参谋长，准备南下“讨赤”。
1927年1月4日，张作霖打着“援吴”旗号，攻打河南，于3月占领河南大部分地区，然而此时北伐军已攻占南京，孙传芳兵败江南，退至长江以北，张作霖军事败势已经凸显。就在这时，蒋介石发动了“四一二”反革命政变，大肆屠杀共产党人，并在南京建立国民政府，宁、汉两政府展开激烈斗争，北伐军停止北伐，张作霖的危机暂时解除。
6月8日，蒋介石向张作霖提出南北议和，但条件则是张作霖易帜称臣，改安国军为国民革命军，任“东北国民革命军总司令”，负责维持东北治安。这与张作霖的要求南辕北辙，张作霖自知不是北伐军对手，但也绝不会屈居人下，他的目标是与国民政府划江而治。为了形成自己与南方对等议和的地位，张作霖于6月11日在北京顺承王府召开会议，商讨组织安国军政府、推选最高统帅以及和战问题。
在16日的会议上，由杨宇霆、孙传芳提议讨论了最高统帅的名称问题，有的主张叫临时总统，有的主张用临时执政名称，张宗昌则主张用大元帅。由于执政一名不宜取来自用，总统不宜由一部分武人推举，就算可以仍需要参议院等民意机关通过，不如大元帅直截了当，因此获得一致通过。
当日深夜，孙传芳、张宗昌、吴俊升、张作相、褚玉璞、张学良、韩麟春、汤玉麟联名发出通电，拥戴张作霖为安国军政府陆海军大元帅。同时，张作霖也发出“讨赤”通电，表明自己坚定的反共立场，并同时向蒋介石发出联合对抗武汉北伐军之信号。
6月18日，张作霖在怀仁堂就职安国军政府海陆军大元帅，20日，以大元帅名义任命潘复为第32届也是北京政府最后一届国务总理，组成奉系内阁。至此，张作霖终于当上梦寐以求的中国最高统治者，也取得了与南方议和的对等地位。然而，由于帝国主义列强还没有在当时中国存在的三个政府中抉择出要支持的一个，所以没有承认张作霖的军政府，这成为张作霖就职大元帅的一个遗憾。
1928年初，蒋介石与李宗仁、阎锡山、冯玉祥组成联合讨伐军，于4月10日下达了第二次北伐总攻击令。奉军四面受敌，连连溃败。5月3日，张作霖下达总退却令，9日通电议和，遭到蒋介石拒绝。张作霖明白自己大势已去，准备退回关外。
与此同时，日本人乘虚而入，不断向张作霖施加压力，企图索取更多好处。张作霖虽长期依赖日本人支持，但他对日本人更多的是巧妙周旋和利用，即便做出妥协，也往往事后赖账。张作霖和日本人的矛盾，集中于东北铁路问题，对此，他一方面采取“以夷制夷”策略，即利用其他帝国主义国家在东北的利益对抗日本，一方面自建铁路，因此引起日本人强烈不满，双方矛盾不断升级，日本人对张作霖已逐渐失去耐心。5月17日深夜，日本公使芳泽谦吉拜会张作霖，开门见山地说：
“如果大元帅能解决满蒙诸悬案，我方可设法阻止北伐军前进。”
“你们日本人专会挑我危难时刻，卡脖子要好处。我还是那句话，对不起家乡人民的事不干。”张作霖对芳泽所言十分不悦。
“张宗昌的兵在济南杀死几十名日本侨民，你对此应负一切责任。”
芳泽所指即日本在济南制造的五三惨案，明明是日本人大肆屠杀中国人，如今却倒打一耙，张作霖怒不可遏，立即从座位上站起来，猛地将手中翡翠嘴旱烟袋砸在地上，“啪”地摔成两段，声色俱厉地对芳泽说：
“此事一无报告，二未调查，叫我负责，他妈拉个巴子的岂有此理！我这个臭皮囊不要了，也不能做这种叫子子孙孙们抬不起头的事！”说罢丢下芳泽怒气冲冲离开客厅。
“元帅，你可不要后悔！”身后，芳泽恶狠狠地继续威胁，张作霖则充耳不闻。张作霖此举，彻底将日本人开罪，日本人终于动了杀机。
张作霖起程回奉天之前已得到消息，说日本关东军蓄谋将他杀害于返奉途中，同时又收到奉军宪兵司令齐恩铭的密电：“南满铁路和京奉铁路的交叉点，日方近来不许行人通过，需提防。”这些都让他相信，此次回奉天，路途凶险。然而，张作霖并没有引起足够重视，他命令张作相和吴俊升派军严密保护北京到榆关、榆关到沈阳的路途，之后又在出京时间上做出变动，即先宣布6月1日起程，接着改为6月2日，而实际是6月3日凌晨1点半离京。他也曾打算改乘汽车回奉天，但想到路途颠簸，也不想让家乡父老看到他抄小路狼狈逃回的样子，最后依旧定为乘坐火车。
专列共22节车厢，张作霖乘坐的是前清慈禧太后的蓝钢皮专用车第八节，专列前方还有一列压道车。与张作霖一同返回奉天的，除了其卫队、元帅府的工作人员，还有刘哲、何丰林、莫德惠、常荫槐、于国翰等一批高级官员，以及张作霖的六夫人马月清、三公子张学曾及随身医官杜泽先，大家心里都忐忑不安。
3日下午3时，专列抵达山海关，黑龙江督军、“东三省留守”吴俊升已赶至山海关迎接。吴俊升上车后，张作霖同他寒暄了几句，接着两人同莫德惠、常荫槐等人一起玩牌，几人整整玩了一夜，直到天蒙蒙亮才散去。
4日清晨，列车抵达皇姑屯车站，奉天宪兵司令齐恩铭赶到并登车迎接。接着，列车向奉天车站行进。
在距离皇姑屯200米处乃老道口，继而是三洞桥，这里就是南满铁路和京奉铁路的交叉点，上面是南满铁路，下面是京奉铁路。列车从北京驶来，一路上铁路两侧均有士兵警戒，这让张作霖安心不少，但中国军警不能靠近南满铁路，所以列车行驶至此地时，铁路两旁的警卫已然消失，张作霖内心顿觉惶恐。此时，随车机枪队已做好战斗准备，张作霖也拔出手枪。车厢里除了张作霖和夫人，还有吴俊升、校尉处处长温存善，几人均神情紧张，屏息凝视窗外。
5时23分左右，列车驶过三洞桥，突然“轰”的一声巨响，埋设在桥墩两侧的120公斤炸药瞬间爆炸，顿时黑烟滚滚，烈焰腾空。张作霖乘坐的第八节车厢被炸飞，同一车厢的吴俊升头部被刺进一颗钉子，当场死亡，张作霖身负重伤，其他人均受轻伤。温存善急忙爬到张作霖身边，只见张作霖喉咙处有一个深洞，血流不止。他连忙用手绢包扎，接着同张学曾一起将张作霖小心抬上齐恩铭的汽车，朝着大帅府飞奔而去。
在帅府东院的小青楼上，医生对张作霖实施了紧急抢救，但终无力回天，当日上午9时，张作霖在弥留之际艰难地吐出一句话：“我不行了……让小六子快回来……以国家为重，好好干……我这个臭皮囊不算什么……”说完，即撒手人寰。
在张学良回奉天之前，为避免日本人趁机制造事端，奉天省省长刘尚清等人决定隐瞒张作霖逝世的消息。6月6日，奉天省公署发表声明：“主座由京回奉，路经皇姑屯东南满铁道，桥梁发生爆炸，伤数人，主座亦身受微伤，但精神尚好。”
与此同时，张作霖的五夫人寿懿依旧满面笑容地接待宾客，杜泽先医官则每日为张作霖开方换药，厨房也照常供奉张作霖的饮食。这些做法终于迷惑过日本关东军，使之认为张作霖真的没有被炸死，因此没敢轻举妄动。6月18日，张学良抵达奉天，子继父业，主持东北大局，在做好一切准备后，于21日公开宣布张作霖的死讯。
爆炸发生后，中方经过调查几乎可以断定此事件乃日本人所为，然而日本人却推脱为“南方便衣队投掷炸弹”所致，之后便对此事守口如瓶。直到第二次世界大战结束后，策划“皇姑屯事件”的主犯、前关东军高级参谋河本大佐，在远东国际军事法庭经审讯才承认了其谋害张作霖的罪行。
子孝妻贤，大家庭有规有矩
张作霖的家庭也是一个小小的专制王国，他在这个王国里同样说一不二。张作霖离不开女人，却从不屈从于女人，他的六位夫人从未发生相互倾轧之事。
元配夫人赵春桂是与张作霖外公同村的富家女儿，张作霖丧父后随母亲投奔外公，学兽医时有次赌博欠了债，被人绑在树上抽打，直被打得皮绽肉开，却毫不示弱，嘴里不停大骂。赵春桂的父亲赵占元刚好路过此地，觉得张作霖很有骨气，将来必成大器，便决定将二女儿赵春桂许配给他。张作霖此时穷得叮当响，听闻有人愿意嫁给他，自然乐得合不拢嘴。但这件事遭到赵占元妻子和内弟的坚决反对，只能暂时作罢。
后来张作霖投清军宋庆部当兵，升任哨长，觉得时机成熟，遂一口气请了两个月的婚假，携立功功牌、哨长札委，又买来厚礼，前往赵家拜见赵氏夫妇。张作霖没有急着提亲，而是对未来的岳母和舅舅卖力讨好，获取他们的欢心后，才托人提亲。这时，赵占元的妻子和内弟对张作霖的看法大为改观，觉得他前途无量，欢欢喜喜地答应了这门亲事。
赵春桂有斜眼病，是张作霖妻妾中姿色最为平庸的一个，但她性情温和，吃苦耐劳，且明事理识大体，在张作霖白手起家打天下的漫长岁月里，跟随张作霖出生入死，颠沛流离，陪伴张作霖度过了人生中最贫困的日子。张作霖脾气暴躁，一有不顺心就暴粗口，因此很容易得罪身边兄弟，全靠赵春桂从中调和。张作霖的兄弟、部下对赵春桂都十分服气和敬重，张作相常说：“大帅能成就大业，多亏我那老嫂子。”汤玉麟也说：“嫂子贤德，多少大事，全靠有老嫂子啊！”可见赵春桂对张作霖创业起到不少帮助。
张作霖对赵春桂开始不错，但1900年迎娶了美貌的卢寿萱后便渐渐疏远了赵春桂。
卢寿萱是北镇县中安堡一塾师的女儿，不仅人美，还能书会写。当时张作霖正做胡匪，不敢贸然提亲，便以替其帮首提亲的名义拜会了卢寿萱的舅舅，对方自然不会答应把女儿嫁给一个胡子，但为了不得罪张作霖，拒绝后又讨好地说了句：“若是像你这样的人，倒还可考虑。”张作霖抓住这句话，对卢寿萱的舅舅大献殷勤，后来索性直接为自己向卢家提亲，卢寿萱的舅舅对先前讨好张作霖所说的那句话后悔不迭，婉拒道：“你是有妻子的人，我的外甥女怎么能给人做二房？”岂料张作霖干脆地表示：“两头为大，绝不是二房。”卢家再没有拒绝的理由，只好答应。
赵春桂听说张作霖要迎娶卢寿萱，心里十分难过，但还是主动操办了这桩婚事。卢寿萱过门后，赵春桂虽受到张作霖冷落，但她不仅没有迁怒于卢寿萱，反而待她如同亲姐妹，卢寿萱感动之余，也投之以桃报之以李，将赵春桂视作自己的亲姐姐。
赵春桂为张作霖生下长女张首芳，长子张学良，1908年又生次子张学铭。1911年冬天，赵春桂带着4岁的张学铭到奉天找张作霖，晚上张作霖睡里间，赵春桂和学铭睡外间，夜里学铭哭闹，张作霖被吵醒后十分生气，狠狠揍了张学铭一顿。赵春桂见张作霖对儿子如此蛮横无理，与他大吵一架，第二天便回了新民。回到新民不久，赵春桂因心情抑郁患病，于次年4月去世。临死前，她对前来看望的卢寿萱说：“好妹子，我不行了，学良他们还小，只能托付给你了。”卢寿萱含泪答应。
卢寿萱对赵春桂的三个孩子视如己出。首芳长大成人后被张作霖嫁给黑龙江督军鲍贵卿之子鲍育才，卢寿萱亲自将其送到婆家，怕首芳将来生活不习惯，还特地带上帅府的厨子、丫鬟，让他们继续服侍首芳。张学良与夫人于凤至对卢寿萱也比对其他夫人更为敬重，这让其他夫人们颇为不满，纷纷向张作霖发牢骚，张作霖说：“学良12岁失去生母，全靠卢氏照顾，他们怎能忘记这份恩情呢！”
卢寿萱对府中下人也很宽容，有一次张作霖在卢寿萱房中用餐，突然吃出一只苍蝇，顿时暴跳如雷，吼道：“这菜是谁做的？把他给我毙了。”卢寿萱赶忙阻止卫兵，对张作霖好言相劝，待张作霖消了气，也就没有再追究厨子的责任。卢寿萱对下人的维护，令她在帅府中极受爱戴。
然而，卢寿萱能照顾赵春桂的三个儿女，能保护府中下人，却无力让自己的两个女儿幸福。由于张作霖喜爱用联姻方式拉拢有利用价值的人，卢寿萱生下的两个女儿张怀英和张怀卿，一个被张作霖嫁给蒙古达尔罕王的儿子包布，一个被嫁给张勋的儿子张梦潮。包布是先天痴呆，张梦潮则患有神经官能症，整日里疯疯癫癫。女儿婚姻的不幸，成为卢寿萱一生的心病，为了排解心情的烦闷，卢寿萱整日念经诵佛，以此为精神依托。“九一八”事变后，卢寿萱搬到天津，于1974年5月病逝。
在张作霖六个夫人中，最美的并非卢寿萱，而是三夫人戴氏。戴氏原是有夫之妇，乃北镇县一捕盗班头的儿媳，其美艳远近驰名，令张作霖垂涎不已。得知她的丈夫爱财如命，张作霖便请义父杜泮林出马，以重金购买戴氏，戴氏的丈夫经过一番讨价还价，果然将戴氏出手。
戴氏一进门，即得专房之宠，这让原本就傲慢骄横的戴氏越发不可一世。她以为仗着自己貌美，可以让张作霖对她言听计从，却不知她的骄横只会让张作霖对她越来越疏远，越来越反感。
1909年，张作霖追剿叛匪任务顺利完成后，派手下陶历卿护送家眷返回洮南，戴氏因受不了旅途中风餐露宿而心情烦躁，借机把陶历卿臭骂一顿。陶历卿乃张作霖亲信，无故遭到戴氏责骂，气得顺手将一杯茶水泼到戴氏身上，戴氏受了“委屈”，一路上哭哭啼啼，逢人就骂陶历卿，陶历卿不敢再“招惹”她，只好躲得远远的。后来戴氏见到张作霖，立马告了陶历卿一状，让张作霖替她将陶历卿教训一顿，哪知张作霖问明原委后，不但没有责怪陶历卿，反而安慰陶历卿：“她年轻不懂事，不要和她一般见识。”
1911年，张作霖进驻奉天，戴氏的胞弟在张作霖府上做警卫，仗着胞姐的关系蛮横霸道。一天晚上，他闲来无事在大街上游逛，看着路边一排整齐的路灯，突然心血来潮，拔出手枪对着路灯便是“嘭、嘭、嘭”一阵射击，竟然将整条街的路灯全部击碎。当他为自己的好枪法得意扬扬的时候，没想到张作霖为此事怒不可遏，命令以军法处置，他为此命丧黄泉。
戴氏得知此事后，又哭又闹，无论张作霖如何解释，她都认为是张作霖有意整治她，从此抑郁寡欢，脾气越来越古怪。有次一个丫鬟倒茶时不小心将茶水溅到戴氏衣服上，戴氏一下子火冒三丈，拖过丫鬟就是一顿毒打。张作霖得知后，竟召集起所有夫人和丫鬟，在众人面前狠狠将戴氏斥责一顿。戴氏受此羞辱，觉得颜面尽失，无法在府中抬起头来，心情更加苦闷，最终削发为尼。但佛门没有留住她年轻的生命，1916年戴氏即抑郁而死。
早在戴氏过门4个月时，张作霖便娶进四夫人许澍锡。许澍锡出生于河北宛平县一个乡村铁匠家中，父亲病死，与母亲相依为命。贫穷的生活让许澍锡没有一件像样的衣服，但破旧衣衫难掩其天生丽质，许澍锡在井台打水时，被路过的张作霖一眼相中，强行娶回家中。
许澍锡过门后，并不为自己的出身而自卑，她不愿在府中碌碌无为虚度时光，急切希望提高自身文化素质，很快进入奉天省立第一女子师范学校读书。后来，张作霖觉得让自己夫人入洋学堂读书不成体统，禁止她再去学校。许澍锡只好和孩子们一起去私塾读书。
许澍锡勤奋好学，也注重对子女的培养教育。她为张作霖生下二子二女，儿子学曾、学思，女儿怀瞳、怀曦，从孩子懂事起，她就教育他们：“张家的家业以后都是你们大哥和二哥的，你们不能争也没有资格争，你们要靠自己的双手去创造财富。”
许澍锡自己不能去外面上学，却坚决要求让孩子去外面正规学校读书，张作霖开始不同意，无奈许澍锡软磨硬泡，最终还是答应了。许澍锡让孩子们脱下绸缎衣裳，换上灰布衣裳，不让他们坐汽车，而是坐马车，并在离学校还有一段距离时就下车步行，培养他们吃苦耐劳的精神。在许澍锡的教育下，其儿女皆学有所成，学曾后来进入联合国总部秘书处任职，学思加入中国共产党，最高官职为海军参谋长，在“文革”时被迫害致死。怀瞳、怀曦虽然也没有逃过张作霖的包办婚姻，但结局都比较好。怀曦被许给靳云鹏之子，张作霖死后即退婚，跟随母亲移居美国。怀瞳嫁给赵尔巽之子赵天赐博士，婚姻幸福，后也迁居美国。
许澍锡在“七七”事变后移居美国，解放后只身回国，1976年在北京病逝，安葬于八宝山公墓。
张作霖因读书少，所以中意有文化的女子，1916年当上督军后，张作霖应邀参加奉天女子中学的毕业典礼，认识了代表全体师生宣读答辞的袁寿懿，很快将其娶回家做了五夫人。寿懿乃黑龙江将军袁寿山的外室所生，从小聪明伶俐，随着年龄的增长越来越漂亮大方。寿山死后，她与母亲备受歧视和排挤，于是离开将军府，母女相依为命。
寿懿嫁给张作霖后，经常陪伴张作霖去驻地视察，寿懿自然知道自己扮演的角色，她热情地同士兵握手、交谈。其大方的举止，优雅的谈吐令所有人称羡不已，给张作霖挣足了脸面。每次张作霖讲完话后，寿懿也临场发挥讲几句，有时还表示将拿出自己的私房钱给士兵们改善生活，得到士兵们的称赞和拥护，也让张作霖对她更加宠爱。
张作霖一向禁止夫人干政，但对寿懿却打破了这个惯例。张作霖的卫兵清一色高大魁梧，有一次检阅卫兵时，却发现其中一名卫兵身材矮小，显得格格不入，于是皱着眉问卫队长：“这个小个子卫兵，是谁让你们用的？”卫队长赶紧回答道：“报告，是寿夫人推荐的。”张作霖听后立即改变态度：“哦？难怪这么精神，就让他当班长吧。”
寿懿凭借自己的聪明才干，长期受到张作霖的宠爱，帅府内的小青楼就是张作霖特意为她建造的。拥有了寿懿，张作霖本来不再对其他女人感兴趣，但由于他迷信相面算卦，于1923年又在天津娶了最后一位夫人马月清。马月清天庭饱满、鼻直口方，算命先生说她有旺夫相，张作霖为此将这位“福星”纳为己有。但张作霖一方面怕寿懿不高兴，一方面自己快50岁的人了，娶了18岁的马月清，担心遭人非议，所以没有将马月清带回奉天帅府，只是在天津租了处房子让她单独居住。
寿懿得知马月清的存在后，对其顿生怜悯之情，亲自赴天津将马月清接回奉天帅府，以丫鬟的名义将马月清安排在自己身边，对她十分疼爱。1924年12月，马月清为张作霖生下女儿张怀敏，寿懿知道，是该给马月清一个公开身份的时候了。
