1911年10月，武昌起义爆发后，关内各省纷纷宣告独立，奉天省内新军协统蓝天蔚及革命党人张榕等响应革命，积极进行独立活动，11月6日下午，蓝天蔚召开新军军官会议，准备发起兵变，胁迫东三省总督赵尔巽退位，宣布奉天独立。
当晚，赵尔巽便得到密报，但由于手中无军队，赵尔巽一时六神无主，第二天紧急召集地方乡绅会议商讨办法，其亲信咨议局副议长袁金铠献计说：“有个人可以协助总督挽回局势。”赵尔巽一听忙问这个人是谁，袁金铠回答：“巡防营统领张作霖，此人足智多谋，骁勇善战。只要大帅一声号令，张作霖必定可与新军抗衡。”
赵尔巽对张作霖早有耳闻，知此人实力强大，如能为己所用，倒不失为股肱之才。但是，赵尔巽问：“张作霖远在洮南，远水不解近渴，这怎么办？”不料，袁金铠的回答令赵尔巽大吃一惊，他说：
“张作霖已经来到！他已经在府门外恭候多时了！”
没有军令擅自离开边疆防区带兵入城，实属大逆不道，若在平时，当以重罪制裁。但眼下情况紧急，赵尔巽便也顾不得那么多了，赶紧让袁金铠宣他进来。张作霖自然知道擅自出兵风险极大，但在省城讲武堂轮训的属下张景惠等人给他送去了消息：新军将在省城发动兵变驱走总督赵尔巽。他认为这是大显身手的好机会，若能在镇压革命军中拯救总督于危难之中，攀上新任总督赵尔巽这棵大树，便可达到问津奉天第一步。俗话说“舍不得孩子套不住狼”，冒点风险又何妨？何况他分析了赵尔巽的处境，此时送上门去，正解其燃眉之急，又何谈风险呢？于是，张作霖率两营马队，策马加鞭昼夜兼程赶到奉天。一进省城便去见了他的文人朋友袁金铠。袁金铠老谋深算，对张作霖面授机宜，亲自导演了这出“举荐贤才”的好戏。
因此，张作霖一进门，便“扑通”一声跪在地下，首先请罪：“下官得知省城情势危急，担心总督安全，情急之下擅自带兵前来拱卫省城，还望总督恕罪！”
赵尔巽正处于危难之中，对表示效忠的部下自然来者不拒，当即任命张作霖兼任驻扎省城的中路巡防营统领，张作霖不仅达到了问津奉天的目的，而且所控制兵力骤然间增加一倍之多，达到15个营。
赵尔巽虽有了军事依靠，精神为之大振，但此时许多守旧大臣被激进革命党人刺杀的消息不断传来，令赵尔巽不寒而栗。11月12日上午，省咨议局议长吴景濂邀请赵尔巽参加咨议局会议，赵尔巽不敢公开露面，便与张作霖商量，如此这般策划一番。当天下午，赵尔巽在张作霖及其部下的保护下前往咨议局会场。
这是革命党实施举事的重要会议，事先已决定在会议上控制赵尔巽，宣布奉天独立。为此，蓝天蔚已经下令调所属部队进城。
会议一开始，革命党人群情激奋，首先是吴景濂以议长身份提出讨论奉天的政治命运，强调革命潮流不可阻挡，台下革命党人立即呼应，要求宣布奉天独立、东三省独立，令赵尔巽不由得汗流浃背，只好诺诺作答：“东三省地处日俄两列强之间，稍有变动，后果不堪设想。大家还是不要轻举妄动，待时局稳定后再做决议。”
此话一出，立刻遭到革命党人群起而攻之，并有人带头高喊：“赵尔巽滚回北京去！”接着一呼百应，整个会场形成一边倒的形势，甚至有激进者从台下跳出，眼看就要上台对赵尔巽进行围攻。赵尔巽吓得脸色蜡黄，浑身发抖。
就在这时，张作霖一手举着一个炸药包，一手举着手枪出现在台上。这个小个子军人的亮相，令全场为之愕然，喧嚣的场面立刻变得鸦雀无声，只有张作霖的吼声在会场里回荡：“都给我听好了！谁敢动总督一根汗毛，我立马毙了他！你们敢通过独立案，咱们就同归于尽！”
与此同时，张作霖的属下张景惠、汤玉麟、张作相等十几人已全副武装包围了会场。会场中形势骤然间逆转。蓝天蔚虽然已经调兵，但他本人尚不知赵尔巽早已密电北京，夺了他的军权，原部下已经不听他的调遣，他所调动的第二混成协不仅没把炮口对准总督府，反而直接对准了省咨议局。在这种情况下，革命党人谋取奉天和平独立的计划彻底破产。
接下来的会议由咨议局副议长袁金铠主持，按照赵尔巽等人事先准备好的名单，很快“选举通过”“奉天国民保安会”会长赵尔巽，副会长吴景濂，总参议长袁金铠，张作霖则当上了保安会军政部副部长，全权负责镇压奉天省内革命军。由于革命党人张榕与袁金铠私交甚好，为了达到拉拢张榕的目的，选举张榕做了参谋部副部长。
然而张榕并不领情，见不能通过和平手段使奉天省宣布独立，便决定付诸武力。11月17日，张榕在奉天成立了“联合急进会”，派人到庄河、复州、辽阳、凤城、辽中等地发动武装起义。与此同时，张作霖也将所部2500人全部陆续开进省城，增强省城防卫力量。
而此前，蓝天蔚已被逼离奉天，远走上海，吴景濂见势不妙也挂冠而去，只剩下了张榕孤军作战。常言说“擒贼先擒王”，赵尔巽与张作霖、袁金铠密谋，决定秘密除掉张榕。于是，袁金铠加紧与好友张榕的往来，并让张榕相信张作霖可能加入革命军阵营，这让张榕看到了革命成功的希望。
1912年1月23日，在袁金铠的怂恿下，张榕邀请张作霖当晚到平康里得意楼一聚。于是，张作霖、袁金铠与张榕坐在一起，把酒言欢。酒过三巡之后，袁金铠借口有约会先行告退。离开前，袁金铠提议二张去蜚红馆好好聊聊，那边人少安静。张榕采纳了袁金铠的建议，与张作霖到蜚红馆找了个幽僻的房间，两人躺在床上，一边吸食鸦片，一边“畅所欲言”。
等聊得差不多时，张作霖起身告辞。张榕烟瘾未尽，躺在烟榻上继续喷云吐雾。岂料，张作霖刚刚离去，便有两名军人推门而入。张榕以为是来找张作霖的，并未在意，说：“你们统领刚走。”但话音未落，两名军人突然开枪射击，29岁的张榕当场殒命。这两名军人便是张作霖的手下高金山、于文甲。
随后，于文甲又奉张作霖之命带兵将张榕与其兄长的家搜刮一空，使张家损失财产合银53000多两。当晚，“联合急进会”的重要成员田亚宾也被张作霖的另一名手下汤玉麟带人杀害并抄家，张榕的好友宝昆也未能幸免于难。
此后数日，张作霖在奉天省城大肆搜捕革命党人，凡是剪了辫子的或者形迹可疑之人，全部抓进大牢，甚至砍头，奉天城内数百人被捕入狱，闹得人心惶惶，市民纷纷外逃。事后，张作霖被清廷任命为“关外练兵大臣”，赏戴花翎，所部被改编为第二十四镇。
为了表示对清廷的忠心，在赵尔巽的提议下，张作霖联合冯麟阁等33名军人，致电内阁总理大臣袁世凯，称东北军人随时可以南下镇压革命军，助袁世凯一臂之力，以效忠清廷。然而，一向工于心计的张作霖却不知袁世凯此时实行“养敌自重”，有取清廷而代之的图谋，他的这封电报无疑与袁世凯的政策背道而驰。
不久，张作霖收到袁世凯的一封密函，告之清宣统皇帝退位，清廷放弃统治权已是大势所趋，除接受革命军要求，改为民主共和政体，别无选择。并许诺“共和政府成立之日任卿为东三省防务督办”。
读了袁世凯的密函，张作霖这才明白袁世凯另有图谋。张作霖对于清廷的拥护，既是出于感恩之心，又是出于对自己既得利益的维护，他认为共和必招大乱，但没想到袁世凯竟然借共和之名行篡夺清廷江山之实。但在袁世凯与清廷的力量对比中，清廷显然已不是对手，为了个人利益，在“东三省防务督办”的诱惑下，张作霖最终从拥护清廷转向了拥护袁世凯，摇身一变，成为“共和制”的忠实拥护者，并将赵尔巽也拖入这个阵营。于是，在清廷覆亡之际，东三省没有采取任何行动，而是做壁上观。
原以为抱住袁世凯这棵大树，东三省军政大权很快便会落入手中，与袁世凯相比，张作霖未免太天真了。袁世凯当上总统后，对“东三省防务督办”绝口不提。1912年9月，袁世凯将奉天地方武装巡防营改编为正规陆军部队，张作霖所部改为第二十七师，张作霖随之成为第二十七师师长，与此前清廷所任命的第二十四镇统制相比并无升迁。由于张作霖曾拥护清廷，袁世凯对他多有猜忌，唯恐他实力扩张，尾大不掉，所以对他的许诺只是一张“空头支票”。
而在此前7月，袁世凯为了遏制赵尔巽的势力，撤销东三省总督令赵尔巽改任奉天都督，实际也是对赵尔巽曾经力主保皇所实施的“报复”。而由于赵尔巽与宗社党有着千丝万缕的联系，又是清朝旧臣，袁世凯对他降职之后仍不放心，干脆借口赵尔巽与一宗杀人案有关，于1912年11月迫使赵尔巽引咎辞职。
在赵尔巽督奉后期，不仅顶着来自袁世凯的上面的压力，还承受着来自张作霖的下面的架空。张作霖虽仅为一师之长，但重兵在手，又驻防省城，说话便语重气粗，手下文官武将云集，地方豪绅权贵纷纷依附，相比之下，赵尔巽这个奉天总督反而成了光杆司令，甚至要看张作霖的眼色行事，心中不胜悲哀。
赵尔巽辞职后，张作霖以为奉天都督已是其囊中之物，却不料袁世凯另有人选。11月16日，张锡銮走马上任。张锡銮与张作霖原有义父子之情，袁世凯以为，派出老臣张锡銮，既可以抵消张作霖的不满，又因此遏制了张作霖的势力迅速膨胀。
但张作霖自有抵制办法，他表面上对这位义父恭恭敬敬，暗地里却不断扩充实力，千方百计排挤张锡銮，以致二十七师大小事务，张锡銮丝毫插不上手，甚至张锡銮公署的军务课长的任免，都要由张作霖做主。张锡銮此时已70多岁高龄，为此多次请辞。但袁世凯一时找不到合适人选，又不肯把都督的宝座赏给张作霖，此事便一直拖了下来。
1913年反袁的“二次革命”爆发，袁世凯为了笼络张作霖稳定边疆，首次召见张作霖。张作霖诚惶诚恐，在中南海对袁世凯行三跪九叩大礼，并对袁世凯说：“前清时，雨亭只知有皇上，如今只知有大总统，从前雨亭对皇上行叩拜大礼，如今对总统也应如此。”
尽管张作霖表现得无比忠心，但袁世凯对张作霖仍不放心，扑灭“二次革命”烈火后，袁世凯决定使用明升暗降的办法将张作霖调出奉天，解除其兵权。1914年8月，袁世凯授张作霖为护军使衔，调往内蒙古。
张作霖闻讯十分恼怒，自恃手握重兵，岂能任人宰割？立刻致电陆军总长段祺瑞，直言大总统江山有他一半的功劳，“皆作霖坐镇北方之力”，如今“鸟尽弓藏，思之寒心”。措辞之强硬，令段祺瑞大为震惊。袁世凯看了此电，也不由得惊出一身冷汗，心想这个小个子胡子真是惹不得碰不得。
与此同时，张作霖在奉天大造舆论，发动名流巨贾上书请愿，强烈要求张作霖留驻奉天。袁世凯考虑到驻奉各国官商多年受张作霖庇护，尤其张作霖与日本人关系密切，一来怕引起外国人干涉，二来担心激起张作霖铤而走险，最后调任之事不了了之。
1915年7月，袁世凯再次电召张作霖晋见。张作霖既担心其间有诈，又不敢违抗命令，只好带着一个营的卫队进京护卫。为了麻痹袁世凯，一到北京，张作霖就让随从人员包下八大胡同的所有妓馆，让袁世凯以为他沉湎于声色犬马，胸无大志。同时带去许多东北特产与黄金白银，先去拜访京城权贵打探风声，在确信不会被暗算的情况下，才请袁世凯的亲信段芝贵等人陪同前往中南海。
一进居仁堂，张作霖跟在段芝贵等人身后一步一挪，最后竟“扑通”跪倒在袁世凯面前，连连说：“叩见、叩见、叩见！”倘若是三呼万岁，倒是清朝盛行的拜见皇帝的礼节，但张作霖三呼“叩见”，不伦不类，着实令在场所有人忍俊不禁。
其实张作霖是有意装出一副没登过大雅之堂的粗鄙相，以打消袁世凯的戒心。不料这三个“叩见”在一心想当皇帝的袁世凯看来，却与三呼万岁无异。张作霖胡子出身，大字不识几个，如此推断，此举当在情理之中。于是袁世凯又问张作霖：“手下的人在京城玩得可好？”
“好！好！”张作霖来了兴致，“都自己找乐子去了，京城的八大胡同，真叫人大开眼界！”
此话一出，在场所有人都差点笑出声，袁世凯也是忍俊不禁，他早已听说张作霖一到京城就包下了八大胡同所有妓馆，心说真是刘姥姥进大观园。由此看来，上次那封措辞强硬的电报想必也是出自他人之手，或受他人指使所为，如此一想，袁世凯也就不予追究了。
北京晋见总统顺利过关，回到奉天的第二个月，袁世凯批准了张锡銮的辞职，张作霖觉得大概袁世凯消除了对他的猜忌，这次要任命他做奉天将军了。但这个美丽的肥皂泡很快破灭，8月22日，袁世凯任命段芝贵为奉天将军，张作霖跺脚怒吼：“袁项城，终究有一天我要让你知道，姓张的绝不是好耍弄的！”
这一天很快来到，袁世凯称帝后，护国战争随之爆发。在前线失利、其嫡系将领冯国璋等人已不听调动的情况下，袁世凯于1916年2月电召张作霖进京，希望奉军出兵南下，并许诺说：“事成之后封公侯不成问题。”
原来袁世凯称帝后大封天下，张作霖被封为二等子爵，当他得知子爵低伯爵一等，再往上为公为侯时，顿时震怒，随之请假不出以示抗议。但张作霖早已领教过袁世凯的允诺，定然不会再上当，即便如此，倒也不妨“以其人之道，还治其人之身”，当即拍着胸脯表示：“雨亭愿率部出征，甘为先驱！”
袁世凯一听大喜，张作霖趁机提出开拔之前需要补充枪支弹药与军饷，袁世凯一口答应。然而，待军饷与军械到手，张作霖便指使当地乡绅名流与商会等团体电请北京政府，强烈要求张作霖留防奉天维持东三省秩序，直到这时袁世凯才知上当。
此时袁世凯已陷入四面楚歌之中，张作霖骗得军饷军械后实力大增，更加有恃无恐，开始反戈一击——驱逐袁世凯的心腹段芝贵。
扫平内乱，奉张升级东北王
1916年3月22日，袁世凯被迫取消帝制，国人纷纷要求惩办帝制祸首段芝贵，张作霖决定趁此机会赶走段芝贵。段芝贵与二十八师师长冯麟阁一向不和，冯麟阁早就想驱赶段芝贵取而代之，张作霖便很义气地表示，赶走段芝贵，由冯麟阁做奉天将军。
冯麟阁年长张作霖8岁，张作霖加入匪帮的时候，冯麟阁已是有名的大土匪。如果从这些人中推举奉天将军，论年龄论资历，冯麟阁都比张作霖更有资格。因此冯麟阁对张作霖的允诺深信不疑，并在随后的密谋中，主动扮演了唱“黑脸”的角色。
按照两人的密谋，首先由张作霖布置士兵夜间开枪闹事，然后张作霖赶到将军府，向段芝贵报告：“二十八师正在联络奉天各界团体及二十七师的部分官兵，准备以惩办‘帝制祸首’为由，对上将军采取行动！”
段芝贵早就听说冯麟阁要求“奉人治奉”，准备对他采取行动，他手下只有一营卫队，根本不是二十八师的对手，顿时惊恐万分，忙问计于张作霖。张作霖说：“硬碰硬闹出事来总是不好，尤其在这个时候，还是稳定局势为上策。”言外之意不是他不愿出兵帮助段芝贵对付冯麟阁，而是不能再给袁世凯添乱，建议他还是暂时躲避一下。
段芝贵立刻电告北京政府，请求去天津养病，同时命手下人从“官银号”里提取200万元巨款，又取军火若干，统统放进京奉铁路局的一列火车上。在段芝贵临走时，张作霖特地携厚重礼品前往相送，并派五十四旅旅长孙烈臣率兵保护段芝贵，令段芝贵深受感动。
然而，段芝贵的专车刚刚开到沟帮子车站停下添煤时，就被冯麟阁二十八师的一个团团团围住，他们是受冯麟阁调遣前来拦截官银与军火的。在冯麟阁的授意下，团长邱恩荣持旅长汲金纯的名片，口里说着“欢送上将军”，手里却递上两封电报，分别是以奉天各界团体名义、省议会和二十八师全体官兵名义拍发的。内容为：“卸任上将军段芝贵为帝制祸首，奉天人民正拟处以应得处罚，不料其居然私携官款200万元之巨及军火大宗，闻风畏罪潜逃，奉天人民无不发指痛恨，电请汲金纯旅长就近截留，押赴奉天依法处理。”
段芝贵看完电报吓得魂飞魄散，忙请张作霖派来的五十四旅旅长孙烈臣帮忙解围，孙烈臣自然知道这是张作霖所谋划，却装作义愤填膺地说：“岂有此理，我下车询问一下情况，看哪个敢动上将军一根汗毛！”
孙烈臣下车转了一圈，不久重新返回车上，沮丧地向段芝贵汇报：“二十八师实在强硬，坚决要求截留专车押回奉天。张师长与二十八师婉商多时，终于答应不扣专车，但是官款和军械一定要交回去。”段芝贵此时保命要紧，赶紧点头答应。
就这样，段芝贵仓皇逃出奉天，一到北京就向袁世凯大诉其苦，说尽冯麟阁坏话，极力推荐由张作霖继任奉天将军。1916年4月23日，袁世凯终于任命张作霖为奉天盛武将军督理奉天军务兼任奉天巡按使。
接到任命，张作霖一喜一忧，喜的是多年的夙愿得以实现，忧的是冯麟阁不会甘愿俯首称臣。由于他曾经允诺由冯麟阁做奉天将军，为了避免冯麟阁发难，首先大造辞职舆论，发表通电辞职，力荐冯麟阁做奉天将军。此时袁世凯已自顾不暇，对张作霖的多次请辞皆不予批准，张作霖只好“勉为其难”，走马上任。
为了稳住冯麟阁，张作霖请示北京政府批准任命冯麟阁为奉天军事帮办。但冯麟阁并不领情，先是坚辞不就，后在张作霖一次次登门求告后，提出另设帮办公署，其规格与待遇完全与张作霖的将军公署相同，这等于与张作霖平分奉天天下。张作霖不便公开拒绝，只好致电中央调解，袁世凯认为另设帮办公署不伦不类，建议每月可拨15万元帮办公费。
但冯麟阁根本看不上15万元公费，而是在张作霖一味退让的情况下，公然下令省财政厅拨款50万元作为帮办公费；又致电袁世凯要求在北镇设立帮办公署，并招收新兵7营加强防卫。后来将50万元降到20万元，但同时向张作霖提出极为苛刻的条件：
一、马上拆除将军署后院新建炮台，严惩鼓动人员；
二、一切行政用人，必须征求冯麟阁同意；
三、奉天军政各项费用不得超出预算，必要时须与冯麟阁商量；
四、由张作霖亲率二十七师营长以上军官，到二十八师办事处正式道歉。
当张作霖的部下吴俊升将冯麟阁的条件转告张作霖时，本以为张作霖会暴跳如雷，不料张作霖听后哈哈大笑，然后大大咧咧地说：“没问题，一一照办。”
果然，张作霖带着二十七师营以上军官到二十八师办事处道歉。张作霖之所以一再退让，完全是为了避免冯麟阁借机挑起军事冲突，造成两败俱伤，更重要的是会引起外国人尤其是日本人的干涉。但两人的矛盾并没有因此得到缓和。
就在张、冯矛盾日益尖锐之时，张作霖又与部下汤玉麟发生冲突，事发于其所用新人王永江。张作霖就任奉天将军后，感到仅凭以前那帮带兵打仗的弟兄已经远远不够，这些人大多出身绿林，对治理地方一窍不通，于是网罗了一批文人谋士为其所用，时任奉督警务处长兼省城警察厅长的王永江便是其中之一。
汤玉麟时任五十三旅旅长兼省城密探队司令，由于与张作霖是患难之交，在奉系发展中立下过汗马功劳，因而有恃无恐，其部下设局赌博、走私贩私、作奸犯科等胡作非为已非一日。以往的警务处长对其所部恶行均睁只眼闭只眼。王永江上任后，为维护省城治安，突击抓捕罪犯，结果许多绿林出身的军人被抓，其中大多是汤玉麟的部下。汤玉麟闻讯暴跳如雷，找到张作霖大吵大闹，声称：
“天下是军人提着脑袋打下来的，姓王的凭什么抓捕军人？”
张作霖一听非常气愤，怒斥道：“枪杆子能打天下，不能治天下！这里是省城，不是绿林！”
汤玉麟一看张作霖竟然站在王永江一边，指责张作霖过河拆桥，鸟尽弓藏，一跺脚奋然离去，准备发动兵谏攻打张作霖。
汤、张反目，冯麟阁立刻抓住机会，联合汤玉麟，向张作霖提出，任命冯麟阁为省长，汤玉麟为二十七师师长，否则将采取行动，并通电北京政府，要求罢免张作霖奉天督军兼省长的职务。与此同时，两人一边招募土匪，一边策反张作霖的二十七师，并不断派兵到省城作乱。
张作霖为了稳定军心，立即召集二十七师营、团级军官会议，通报汤玉麟作乱情况。此前曾一度附和汤玉麟的孙烈臣等人见汤、张将兵戎相见，纷纷表示拥护“张督军”。二十七师集体效忠，使冯、汤的策反宣告失败。
而此时，袁世凯已因病辞世，继任总统黎元洪与国务总理段祺瑞上演的“府院之争”愈演愈烈。黎元洪支持汤、冯反张，曾派秘书持其亲笔信函到新民县与汤玉麟联系，不料此信被张作霖属下截获，张作霖将此信转交段祺瑞，段祺瑞立刻表示调两个师协助张作霖戡乱。而日本人公开表示支持张作霖戡乱。
在此变化下，冯麟阁自知不是对手，赶紧偃旗息鼓。汤玉麟失去依靠，而手中仅有残兵千余人，只好重又上山落草。张作霖下令免去汤玉麟第五十三旅旅长之职，派兵追剿汤玉麟，汤玉麟被迫逃往徐州投奔张勋，得到一个挂名营务处处长的头衔。
赶走了汤玉麟，还有一个冯麟阁，既然冯麟阁已经宣布休战，张作霖也只好等待时机。令张作霖没有想到的是，不仅机会很快便到了，而且未动一兵一卒，冯麟阁便垮台了。
原来，张勋在策划复辟时，张作霖作为张勋的儿女亲家也曾表示支持，但到复辟开始时，张作霖发现支持者甚少，随即转持中立态度。张勋对此非常气愤，只好电请冯麟阁入京支持复辟，并许诺事成之后任命冯麟阁为东三省总督。冯麟阁接电后欣然前往，并随后调所部二十八师驰援京城复辟。
然而，就在冯麟阁眼见复辟成功，被赐黄马褂和在“紫禁城内骑马”之荣耀时，张勋复辟却在段祺瑞的讨伐中土崩瓦解了。冯麟阁一看情况不妙，赶紧乘车出逃，结果火车行至天津被抓获，押回北京拘禁，后以“背叛共和罪”被罢官，交付法院依法严惩。
张作霖为争取冯部官兵的好感，与二十七师、二十八师全体军官联名致电段祺瑞，要求释放冯麟阁。段祺瑞见张作霖出面求情，遂以“冯参加复辟证据不足”为由，以吸食鸦片罪处以罚金800元后释放。冯麟阁返回奉天后，成了一个无职无权的人物，后于1926年8月悄然离世。
兼并了二十八师，统一了奉天军政，张作霖又将视线放到黑龙江与吉林，由于吉林督军孟恩远经营吉林多年，省内局势稳定，一时难以插手，而黑龙江则内部争斗不断，有乘虚而入的可能，于是张作霖舍近求远，决定先从黑龙江下手。
当时，黑龙江督军毕桂芳因没有实权，处处受到陆军第一师师长许兰洲掣肘，许兰洲在黑龙江经营近10年，又手握兵权，一直觊觎黑龙江督军的宝座。1917年6月，许兰洲与两位旅长英顺和巴英额商定，由他们将毕桂芳拉下督军宝座，事成之后，英顺兼任镇守使，巴英额升任师长。重奖之下，英顺和巴英额直接闯进督军署，以武力逼迫毕桂芳让位。6月14日毕桂芳被迫通电宣布下野，许兰洲在没有获得中央政府任命的情况下，以黑龙江督军兼省长自居，将师长一职给了其亲信旅长任国栋。英顺和巴英额见许兰洲不守承诺，立即将毕桂芳追回，让他在呼兰继续主持督军兼省长的公务，并代为发表通电斥责许兰洲非法夺权的行为，随即宣布与许兰洲脱离关系。许兰洲也怒斥英顺和巴英额叛变，双方大有兵戎相见的架势。
鹬蚌相争，渔翁得利，许兰洲与英、巴的相争，给张作霖提供了机会。张作霖令其部下孙烈臣以调停名义前往黑龙江，对双方进行拉拢。以张作霖在东三省的地位，双方岂敢对张作霖提出异议？均表示唯其马首是瞻。接着，张作霖向国务总理段祺瑞发电，举荐其同乡、老部下、儿女亲家鲍贵卿出任黑龙江督军，段祺瑞当即应允，7月26日，鲍贵卿继任黑龙江督军兼省长。
张作霖知道许兰洲不会善罢甘休，随即与段祺瑞商定，将许兰洲所部5营骑兵、3营步兵调至奉天张作霖麾下，任命许兰洲为东路剿匪总司令，驻屯西丰县，成了张作霖的“高级俘虏”。张作霖又抽调驻守东丰、西丰的张鸣九部4营骑兵，调往黑龙江，由鲍贵卿直接指挥。
但调走许兰洲，黑龙江还有英顺、巴英额，鲍贵卿的日子仍不能太平。英顺、巴英额为了获得镇守使和师长的职务，采取武力胁迫的老办法逼迫鲍贵卿就范。张作霖得知后，派出由奉天后路巡防营改编而成的第二十九师，令师长吴俊升以剿匪名义率军进驻黑龙江，进行武装调停。英、巴想继续反抗，中央政府以挟持长官等罪名于1917年12月2日将英、巴免职。至此，黑龙江纷争终于平静下来，鲍贵卿终于也稳稳地坐在了督军位子上。
之后，张作霖又设法扳倒吉林督军孟恩远，迫使孟恩远自动交权，由鲍贵卿继任吉林督军，孙烈臣继任黑龙江督军，达到统治东三省的目的，“奉天王”终于晋升为“东北王”。
直皖大战，张大帅坐收渔利
当上了名副其实的东北王，张作霖开始苦心经营东三省，一心想把东三省建成问鼎中原的大本营。此间，北京政权已因张勋复辟再次易主，大总统由黎元洪换上了原副总统冯国璋。段祺瑞仍任国务总理。与黎元洪不同的是，冯国璋原任江苏督军，重兵在握，自然不甘心成为段祺瑞的傀儡，因此上任不久便与段祺瑞围绕对南政策——“主和”还是“主战”展开争斗，北洋嫡系很快分裂为以冯国璋为首的直系和以段祺瑞为首的皖系。
1917年11月中旬，在直系“长江三督”等通电主和、前方将领倒戈的情况下，段祺瑞被迫辞去国务总理一职，但直皖争斗并未停止，而且很快局势逆转，冯国璋被迫任命段祺瑞为“参战督办”，段芝贵为陆军总长，使皖系完全控制了北京政府的兵权。张作霖密切关注北京政局的变化，寻找奉军入关的机会。而段祺瑞的心腹徐树铮，却不失时机地给他送来了这样一个机会。
1918年2月20日，徐树铮来到奉天，张作霖派参谋长、徐树铮在日本士官学校的同学杨宇霆到车站迎接，并于当晚设宴款待徐树铮。席间，徐树铮拿出一张证明信，小心翼翼地递给张作霖。张作霖接过一看，顿时喜上眉梢，竟然是陆军部开具的2.7万件武器的提取证明！
原来前不久，第十六混成旅旅长冯玉祥在湖南前线通电主和，由于冯玉祥的舅父陆建章是总统府顾问，段祺瑞认为冯玉祥是受其舅父指使，因此迁怒于冯国璋，认为冯国璋破坏其武力统一，情急之中，决定借奉军势力逐冯国璋下台。而这2.7万件武器，则是从日本购买，为晋、陕两省和冯国璋扩充嫡系部队准备的。徐树铮为了给直系拆台，自作主张将这批武器送给奉军，以达到阻止冯国璋扩充实力、拉拢奉军出兵关内的双重目的。
而令徐树铮没想到的是，张作霖早已对关内虎视眈眈，即使没有武力援助，他也巴不得有个机会涉足关内试水。如今既有机会入关，又能得到大批先进武器扩充实力，真是天上掉馅饼的好事！却不料徐树铮犹嫌不够，又抛出一个更为优惠的诱惑：
“大帅，若您愿意以武力为后援恢复段内阁，出兵南征，副总统一职，也是手到擒来。”
张作霖听后哈哈大笑，这回真是占到大便宜了。
2月23日，张作霖派参谋长杨宇霆和旅长张景惠，携武器提取证明，率两个步兵营、一个机枪连，以南征军先遣队名义，前往秦皇岛劫收武器。在拿到2.7万件武器后，张作霖一口气扩编了6个旅，还新建了以张景惠为师长的奉军“暂编第一师”。3月5日，奉军前队抵达廊坊，大总统冯国璋恐慌不安，赶紧请出东三省政界元老赵尔巽劝说张作霖退兵，张作霖不予理睬；3月7日冯国璋被迫通电辞职；3月16日，张作霖又命令奉军后续部队进关，与此同时，张作霖摆出一副盛气凌人的架势，严词要求北京政府“组织段祺瑞内阁”、“设立东三省巡阅使”，否则将立即付诸武力。3月23日，段祺瑞重任内阁总理。为了缓和局势，段祺瑞没有同意冯国璋辞职，而是决定“合法驱冯”。
为了回报徐树铮，张作霖于3月12日在天津附近的军粮城设立关内奉军总司令部，自任总司令，任命徐树铮为副总司令代行总司令职务，任命杨宇霆为总参谋长，将军事指挥权毫无保留地交给了徐树铮。
段祺瑞重任国务总理后，继续实行武力统一政策，马上宣布继续对南方用兵，张作霖积极响应，不断通电主战，并令京津附近的奉军全部南下，摆出一副南征的架势，实际上只是为了借机索取武器军饷，扩大实力。
然而，徐树铮却把奉军当成炮灰，在前线战局对皖系不利的情况下，徐树铮将奉军6个混成旅调到湖南战场最前线，并下令孙烈臣等三名奉军师长速到前线指挥作战，他本人则将前敌总指挥部设在汉口，坐镇遥控。张作霖闻讯后极为不满，立即将奉军三名师长调回，同时以边境局势紧张为由，欲将前线奉军部队全部撤回军粮城，两人为此产生嫌隙。
由于对徐树铮失去信任，张作霖7月末参加在天津召开的督军团会议后，特意留在天津检查徐树铮代行总司令期间的情况。没想到，这一查，竟查出了大问题！从3月23日段内阁恢复之后，徐树铮以奉军名义代领军费515万元，但奉军却只收到180万元。剩下的335万元，全部被徐树铮和杨宇霆私下用作编练军队之用，他们私自招募4旅新军，在洛阳和信阳两地秘密练兵。
张作霖这才知道自己小看了徐树铮，而徐树铮许给他的副总统一职，自然也是空头支票。张作霖怒不可遏，立即下令免去徐树铮关内奉军总司令部副总司令一职，逮捕杨宇霆，还告到段祺瑞那里，要回徐树铮编练4个旅的一部分，并为自己争取到东三省巡阅使一职，这才满意而归。
1919年6月，徐树铮出任西北筹边使、西北边防军总司令，不仅有节制内蒙古、新疆、陕西、甘肃军队和官吏的全权，还掌管西北民政、财政的独立大权，其“西北王”的职权，显然在“东北王”张作霖之上，令张作霖心怀不满。徐树铮实力的迅速扩张，不仅威胁到张作霖，还令四川、广东、湖南、江西四省经略使、直系新一代头领曹锟大为不安。面对共同的敌人，直奉携手，组成七省“反皖同盟”。
1920年5月，驻守湖南的直系军阀吴佩孚撤防北上，不仅令段祺瑞武力统一计划破产，同时使直皖大战箭在弦上。这一局面令张作霖兴奋不已，他巴不得中原战火骤起，以便乘虚而入问鼎中原。
6月7日，张作霖收到总统徐世昌的电报，请他到北京“调停时局”。6月19日，张作霖欣然赴京，到达廊坊车站时，遇到前来迎接的徐树铮。张作霖对徐树铮反感至极，只是冷淡地应酬了几句。到了北京，徐树铮已经令财政总长曾毓隽将奉天会馆粉饰一新，请张作霖下榻。但张作霖拒绝接受徐树铮的“好意”，坚持住进设于北京白石桥的奉军司令部。
张作霖以中立的身份到北京“调停”，表示不会偏袒直皖任何一方，但实际上，出于自身利益的考虑，张作霖很自然地偏向直系一方，同直系一同将矛头直指皖系和徐树铮。其间，直系提出五项要求，最重要一项为第五条，“解除徐树铮之兵权，撤销筹边使官制，边防军改编后归陆军部直辖”。这一项与张作霖的切身利益直接相关，自然极力促成。但此项却是段祺瑞与徐树铮的底线，根本无商量余地。
7月1日直系在保定发表《直军将士告边防军将士书》，声明决心打倒徐树铮、扫除安福系。徐树铮控制的安福系针锋相对，于同一天决定请段祺瑞出山再任国务总理，惩办吴佩孚。
1918年10月冯国璋卸任总统时，段祺瑞迫于主战失败辞去国务总理一职，安福系请段祺瑞出山的决定吓坏了倡议和平的大总统徐世昌，徐世昌立刻与张作霖商量予以抵制。直系更是加强舆论攻势，于7月3日致电张作霖转呈大总统徐世昌，严词要求尽快罢免徐树铮本兼各职。此时张作霖已由调停人站到了直系一边，与曹锟、李纯等人联名通电声讨徐树铮。
徐世昌见直奉联手，顿时有恃无恐，7月4日断然下令撤销西北边防军，将该部交陆军部改编统辖；调任徐树铮为远威将军，留京供职。至此，徐树铮被剥夺兵权，成为了无职无权的光杆将军。
此令一出，皖系的愤怒与反抗可想而知，而徐树铮则将这笔账记到了张作霖头上，对张作霖顿起杀机。7月5日，徐树铮以段祺瑞的名义拜访张作霖，态度诚恳地请张作霖到段祺瑞的驻地团河开会，指导皖系下一步行动，张作霖也想借机窥探皖系的对直作战计划，于是一口答应。
7月7日，张作霖准时抵达团河，徐树铮热情迎接并招待张作霖。宴席上，段祺瑞对张作霖提出：“若想调停时局，罢免吴佩孚万事皆休！”张作霖回答：“这恐怕难以办到！”段祺瑞怒不可遏，冲张作霖吼道：“你们办不到，我要办到！你回你的奉天去，不要管我们的事！”
张作霖蓦然一惊，再看段祺瑞，只见他铁青着脸，冷冷瞪视着自己。张作霖一个激灵，仿佛嗅到一股阴冷的杀气。而徐树铮则笑容满面，对张作霖说：“芝老心情不好，别在意，来来来，喝酒！”
张作霖立刻意识到自己原来赴了一场鸿门宴，想到徐树铮曾于1918年6月14日，邀请总统府高等顾问、陆军上将陆建章到天津皖军司令部会晤，出其不意将陆建章枪杀于后花园中，顿时不寒而栗，知道自己又一次小看了徐树铮。于是，张作霖故作镇定，谈笑间故意大量饮酒，然后装作要呕吐状，叫侍卫将其扶到厕所，迅速借机逃脱。
待徐树铮手下将此讯报告徐树铮后，徐树铮连连顿足，埋怨段祺瑞不该动恻隐之心，并连连叹息：“大势去矣！”他猜测张作霖必定直接返回奉天，立刻下令廊坊驻军予以拦截，就地正法。不料这一消息被手下转告了刚刚请辞的国务总理靳云鹏。靳云鹏原为皖系得力干将，后被徐树铮排挤与段祺瑞产生隔阂。他既是徐树铮的死对头，又是张作霖的儿女亲家，因此马上将此消息转告了张作霖。
张作霖闻讯，当即改变行程，于次日乔装打扮，携带少数精锐侍卫，乘坐货车从北京安然抵达天津，逃过徐树铮埋伏在廊坊车站的精兵。7月9日，张作相率奉军护卫队赶到天津，有了重兵保护，张作霖才稍稍放松，从天津返回奉天。直到抵达奉天，张作霖才松了口气，叹道：“我终于又回来了！”
张作霖料想徐树铮不会善罢甘休，虽然回到自己的地盘，仍不敢掉以轻心，果然，张作霖前脚到达奉天，徐树铮的暗杀团后脚便追到奉天。暗杀团共有13人，以姚步瀛为首，他们携带12万元巨款，打算在土匪中间活动闹事，再趁乱杀掉张作霖。然而，暗杀团刚刚出现在奉天，即被逮捕。
7月13日，张作霖以“清君侧”名义，通电声明“派兵入关参加助直倒皖战争”，7月14日，段祺瑞一声令下，直皖战争爆发。16日，奉军加入东路与直军共同作战，使皖军腹背受敌，加上西路直军将领吴佩孚的胜利，令东路皖军士气大减，直奉联军很快取得东路胜利。18日，直皖大战基本结束，北京政权落入直奉两系之手，张作霖通过直皖战争，成功迈出问鼎中原第一步。
直奉大战，冯玉祥釜底抽薪
直皖战争中，奉军出力不大，但战后接收战利品时，奉军首当其冲，比作战时更加拼命。张作霖派兵占领皖军南苑营房，劫走南苑机场12架飞机，还率先接收了东直门的军火库房，从中抢走的军用品装了整整100多车。
当张作霖的属下闻听直军在北苑附近一个新建军火库中接收军用品时，急率奉军风风火火赶去抢收，后来为了两个空军用的探照灯，与直军大打出手，最终战胜直军，夺取探照灯，扬长而去。同时，奉军将皖军所遗其他军械包括散落于战场的重炮、辎重等物资以及军械技术人员席卷一空，还收编了皖军全部军队。
曹锟得知后，不满地说：“张雨亭真是地道的胡子，得到那些东西还不够，连两个灯都不放过。”吴佩孚更是对张作霖的行为所不齿。
接收完皖系军需，便开始了政治分赃。1920年7月28日，张作霖、曹锟及前国务总理靳云鹏齐聚天津，召开善后会议。在政治权力及地盘的争夺中，三人无法达成一致，但由张作霖的儿女亲家、曹锟的把兄弟靳云鹏再次出任国务总理一事，三人取得了一致。
随后，三人又抵达北京，与总统徐世昌进行进一步磋商，最后就中央与地方的权力分配达成一些协议，使直奉两系军阀掌握了中央政府的实权，总统徐世昌与总理靳云鹏成了实际上的傀儡。张作霖除继续任东三省巡阅使外，晋授镇威上将军，并获得北京政府拨付军费1000万元。同时改任曹锟为直鲁豫三省巡阅使，任命吴佩孚为直鲁豫三省巡阅副使。
之后，在靳云鹏的撮合下，张作霖又与曹锟结为儿女亲家，以弥补两人因战后争夺与分赃产生的裂痕。但一山难容二虎，无论如何弥补裂痕，两方的矛盾与争夺终究无法避免。按照约定，8月12日起，奉军陆续撤军返回奉天，直奉两系各留一师驻京，但后来张作霖又加派了两个旅进驻北京。不仅如此，张作霖还利用操纵北京政权的有利条件，极力扩张势力范围，不仅派兵占据京津要地，而且将其势力迅速扩展到察哈尔、热河、绥远，于1921年5月兼任蒙疆经略使，终于将三特区正式纳入自己版图。与此同时，直系在抢占地盘方面也不含糊，在控制河南之后又抢占了湖北。
就在直奉两系争相扩大地盘的时候，靳云鹏内阁出现危机，一方面财政困难始终无法得到解决，到1921年冬，北京政府已经难以维持运转；另一方面，靳云鹏夹在张作霖和曹锟之间，左右为难，如履薄冰，虽然他尽力做到不得罪任何一方，但还是因北京政府任命吴佩孚为两湖巡阅使而开罪了儿女亲家张作霖。
1921年12月14日，张作霖向徐世昌提议改组内阁，靳云鹏闻讯后随即请辞。12月24日，在张作霖的推荐下，徐世昌任命亲日派梁士诒出任国务总理。
梁士诒掌握交通银行、盐业银行，在袁世凯任总统时期，便有“财神”之称。但梁士诒很清楚，仅有奉系支持还不够，必须同时获得直系支持才能顺利上台。于是，梁士诒允诺组阁后为直系筹集军费500万元。在这个空口无凭的诱惑下，曹锟乐呵呵地将梁士诒捧上了台。然而，梁士诒组阁后，不仅不兑现对曹锟的诺言，而且处处与直系为难，对直系的要求除了拒绝便是拖延不办，对奉系则有求必应，处处唯张作霖之命是听，令曹锟、吴佩孚恼怒不已。此外，梁士诒还根据张作霖的要求，下令赦免了直系政敌、安福系的段芝贵、曲同丰等六名战犯。
此时，张作霖已暗中联系皖系、安福系、交通系与直系对抗。在此情况下，曹锟、吴佩孚决心发起倒阁运动。时值华盛顿会议召开，中国代表就山东胶济铁路赎回自办问题与日本代表针锋相对据理力争之际，梁士诒却与日本驻华公使秘密会谈，同意向日本借款将胶济铁路赎回后，以中日合办的形式继续由日本操纵路权。曹锟、吴佩孚抓住梁士诒这一出卖主权的汉奸行为大张挞伐，1922年1月5日，吴佩孚率先通电怒斥梁士诒的卖国行径，接着，直系各省督军也纷纷通电斥责梁士诒。吴佩孚再接再厉，10日再一次发表通电说：“如有敢以梁士诒借日款及共管铁路为是者，其人既甘为梁士诒之谋主，即为全国之公敌。凡我国人，当共弃之。为民请命，敢效前驱。”
