在湖南作战中，第一路军在吴佩孚的率领下所向披靡，第二路军在张怀芝的率领下节节败退，士兵们四处逃窜，北京政府决定以军法处置张怀芝和张宗昌，好在冯国璋出面庇护，张宗昌才得到一个戴罪立功的机会。
由于对湘作战，直系吴佩孚立有头功，但皖系段祺瑞却把湖南督军一职给了其亲信张敬尧，吴佩孚心怀不满，处处与张敬尧作对。张敬尧也想证明一下自己的实力，当时第二路主力部队基本被击溃，只有张宗昌的第六旅实力尚存，于是张敬尧借兵给张宗昌，并提供粮饷武器，还送给张宗昌一面“张”字大旗，巴望着张宗昌能转败为胜，击败湘军刘建藩。
张宗昌对这面“张”字大旗情有独钟，他平时素爱把自己比作张飞，如今有了这面大旗，感到自己真的成了张飞。他抱着旗子问大家：“大家还能继续打吗？”
官兵们士气高昂，齐声喊道：“能！”
“有信心打胜仗吗？”
“有！”
张宗昌大受感动，当场跪在地上：“我张宗昌没什么能报答大家的，只能磕个头了。”说完即结结实实磕了个响头，官兵见状也都纷纷跪地。
夜晚，张宗昌率部来到刘建藩阵地对面，张宗昌一手叉腰，一手抱住“张”字大旗，威风凛凛，突然大喊一声：“冲啊！”
他身后的士兵立即朝着刘建藩阵地扑去。刘建藩部突然受袭，又无法探知对方人马，顿时人心惶惶，阵脚大乱。这时，刘部一团长向刘建藩提议撤退，刘建藩一听怒不可遏，当即以扰乱军心为由将该团长杀掉。岂料该团长一心腹闻讯，为给上司报仇，又将刘建藩杀掉。刘军丧失头领，纷纷溃逃。张宗昌则长驱直入，直追到茶陵以南才停下脚步。
张宗昌反败为胜，不仅令张敬尧为之一振，在北京的冯国璋得知后也对张宗昌大加赞赏，立刻将其陆军第六混成旅扩编为暂编第一师，张宗昌升任中将师长。由于冯国璋对暂编第一师的重视，第一师官兵待遇装备吃的用的都是最好的，张宗昌也自豪地将其师称为“天下第一师”。
然而好景不长，1918年10月10日，冯国璋被段祺瑞逼下台，一年后即撒手人寰。失去靠山，张宗昌军饷难以按时领到，其部下又多为土匪出身，便在所驻扎的湘东地区大肆抢掠。1920年春，直皖战争爆发在即，5月，吴佩孚自湖南撤兵北上，暗中将湖南防地交给湘军赵恒惕接防，并怂恿湘军驱逐属于皖系的张敬尧。张宗昌既不属于皖系，也不属于直系，在湘军相继占领衡阳、邵阳，张敬尧无力支撑大局的情况下，作为客军的张宗昌只能另谋出路。6月初，张宗昌率部撤出湘东，移驻江西萍乡、袁州一带。
张宗昌移驻江西后，生怕引起江西督军陈光远的排斥，一再声明只是暂时找个安身之地。岂料陈光远非但没有排斥，反而对张宗昌部客居赣省表现出极大的热情与欢迎。张宗昌部刚刚安营扎寨完毕，即收到陈光远的盛情邀请，请他到南昌一游。
张宗昌并没多想便欣然前往，到了南昌，陈光远带他逛遍南昌的赌场妓院，一连数日花天酒地，张宗昌玩得十分尽兴，对陈光远的热情款待非常感激。但令他更为感兴趣的事还在后边，一天晚宴后，众人正准备离席，忽然一个婀娜多姿的女子出现在门口，随即面带羞涩地走到张宗昌跟前，张宗昌眼前一亮，却是一脸的困惑。
陈光远立刻笑着问：“怎么，不认识了？”张宗昌哈哈笑起来，忙说：“认识，认识，哪能不认识呢！”
原来，前几日张宗昌随陈光远到剧院看戏，踩软索的杂技表演引起张宗昌的浓厚兴趣，准确说是表演杂技的女子引起张宗昌的兴趣，表演一结束便大声喝彩，还赏了这个女子一百块大洋。而眼前这位女子，正是那位杂技演员。
“效坤啊，你的妻妾不在身边，难免寂寞，那日见你对这女子有好感，我便派人花重金将她买了来，就算为兄的一点心意吧，不知你是否满意？”
“满意，满意，陈兄真是细心，为我添一房姨太，那我就不客气啦！”张宗昌连忙表示。
就这样，这位杂技演员成了张宗昌的第九房姨太太，张宗昌抛开部队全然不顾，每日沉浸在温柔乡里。陈光远却趁此机会，将张宗昌的部队从东西南北四个方向全面实施警戒。陈光远表面对张宗昌的到来表示欢迎，背后却担心张宗昌抢走江西，因此在张宗昌到达江西之初便开始筹划将他赶走。此后又从内部瓦解张宗昌的部队，花重金收买了张宗昌的两个团长王康福与褚玉璞。
而冯国璋下台后，张宗昌从北京陆军部索饷越来越困难。没有军饷，部队客居江西又不便直接向商民横征暴敛，因此不仅经常发不出饷，而且到换季时官兵也不能及时换装，甚至一度军中只能吃盐水泡饭，连咸菜都吃不上。为解决部队穿衣吃饭问题，张宗昌在向邻近各县借粮的同时，擅自发行军用票，以本路军需处做押，军用票票面价格与银元相等，在张宗昌部驻军的七个县内自由通用，如果商民拒收军用票，将以军法论处。张宗昌共发行数十万元军用票，使当地百姓与地方政府均受到损失，陈光远为此派人专程到北京告状。
1920年冬，张宗昌赴京索饷，与时任国务总理兼陆军总长的山东老乡靳云鹏秘密商定驱逐陈光远占据江西的计划，返回后立即着手准备驱陈行动。但一向大大咧咧的张宗昌根本不会想到其亲信已被收买，他的一举一动都被团长王康福秘密呈报陈光远。因此，陈光远针对其进攻计划做出相应军事部署，张宗昌尚未出兵便已注定了失败的命运。
1921年1月，张宗昌兵分三路向南昌进攻。陈光远派四路大军进行拦截。与此同时，以其弟陈光逵率主力部队于分宜县迎战张宗昌的主力部队，双方激战二日，张宗昌主力在前后夹击下最终溃败。
此时，王康福已率部倒戈，褚玉璞部一直按兵不动，张宗昌对此满腹疑惑，便带了几名随从前往褚玉璞驻地查看，这一查看才发现，该团使用的口令早已私自改换。一听口令不对，张宗昌气得破口大骂，这一骂便暴露了身份，话音未落便有子弹朝他射来，好在他跑得快，没被击中，一边跑一边骂：“老子真是瞎了眼，看错了人！”
亲信属下被收买，败局已定，张宗昌知道在江西呆不下去了，于3月29日化装出走，独自逃往北京。张宗昌一走，褚玉璞立刻向陈光逵接洽投诚事宜，陈光逵虽愿接收，仍以褚玉璞为团长。但收买褚玉璞的陈光远却不同意，最终缴械遣散，令褚玉璞失望万分。其他部队也都被缴械，或收编，或遣散，张宗昌逃到北京时，再次成为了光杆司令。
四处碰壁，千里迢迢投奉张
回到北京，张宗昌首先去见靳云鹏，一见面靳云鹏就说：“陈光远在陆军部和总统那里狠狠告了你一状，要不是我从中斡旋，你早被缉拿严办了，不过你的残部都被遣散和改编了。你知道我这个总理没有实权，你若想东山再起，只能去找曹仲珊（曹锟）。”
靳云鹏虽不能帮张宗昌重掌兵权，但却帮他索回了20万军饷，张宗昌对此感激不已。有了钱就有了底气，张宗昌决定按靳云鹏所说从曹锟那里下手。此时直皖大战已经结束，皖系段祺瑞兵败，北京政权被直系曹锟和奉系张作霖共同执掌。适逢曹锟60大寿，张宗昌素知曹锟爱财，竟将手头所有的20万元拿出来，打造了八只金寿星，前往保定给曹锟祝寿。
这一天保定曹府冠盖如云，高朋满座。而张宗昌一个败军之将，手无寸兵，身无分文，他的到来令曹锟心中颇为不悦。但当张宗昌的寿礼呈上来，不仅曹锟瞪大了双眼，在场所有军政界高层无不个个目瞪口呆：八只光芒四射的纯金寿星，令所有达官贵人的寿礼相形见绌。
曹锟立刻眉笑颜开，他自然知道张宗昌如此破费的目的，随后决定拨给张宗昌一个师的装备。张宗昌如愿以偿，赶紧四处召集人马，但由于从前部队大多被收编，无法再将他们聚集到自己身边，所以这次招兵很费了些时日。
张宗昌本以为装备的事不会有变动，却不料在他招兵买马的这段时间里，他的老乡吴佩孚得知此事后从中阻挠，使他即将到手的一师人马的装备泡汤，20万军饷打了水漂。
“此处不留爷，自有留爷处！”张宗昌气愤之余，决定投靠奉系张作霖。离京之前，与张作霖关系甚好的焦子静为张宗昌写了一封推荐信，并叮嘱他：“雨亭（张作霖字）身边多小人，切记此信要当面交给他。”
张作霖对张宗昌早有耳闻，由于张宗昌有着东北人的豪爽，张作霖对他很有好感，加上焦子静的推荐，初次见面，两人相谈十分投机，张作霖当即对张宗昌说：“你先到杨总参议（杨宇霆）那里出任个高参，过后我会再给你别的委派。”
随即，张宗昌被安排住进奉天大北关榆林胡同的一座公寓，他带来的亲信旧部一二百人分散住在附近，由军需处按各人原来的军阶发饷。
安顿好张宗昌与他的随员，张作霖即设宴款待张宗昌。作陪的除张作霖的心腹杨宇霆外，还特地请来辽源镇守使张海鹏。之所以请来张海鹏，一则一笔写不出两个“张”字，二则张海鹏与张宗昌同是山东莱阳人，在张作霖看来，自然是老乡见老乡，两眼泪汪汪。
事实看起来也好像如此，宴席上张海鹏对张宗昌亲热至极，令张宗昌觉得这奉天真是来对了。然而就在张宗昌出恭之时，张海鹏却悄悄对张作霖和杨宇霆说：“此人我最知底，万万不能重用！”接着大肆渲染了张宗昌此前的种种“劣迹”。杨宇霆本来嫉贤妒能，生怕张作霖重用他人，也以“外来人不可靠”为由予以抵制。如此一来，张作霖对张宗昌的热情减淡了许多，并放弃委任他重职的想法。
于是，张宗昌在奉天左等右盼，也没得到其他委任，便决定主动争取。1922年春节来临之际，张宗昌带着厚礼到张府看望张作霖。他所谓的厚礼，其实与其他人的礼品没什么两样，无非就是新鲜水果、珠宝绸缎，所不同的是礼品的包装。别人的礼品都有精美的外包装，唯独张宗昌的礼品装在两只抬筐里，一只盛水果，一只盛珠宝绸缎。
张宗昌也不用随从下人，而是亲自提着抬筐，一手一只，走进了张府大门。当张府下人们看到张宗昌将两只抬筐摆到客厅里的时候，都被这寒碜的抬筐弄糊涂了，继而窃窃私语，然后是一阵阵讥笑。张作霖虽出身绿林，却也是粗中有细，明白张宗昌此举的寓意，是表示愿为他效力，但需付以扁担——权柄。
想到张宗昌大大咧咧一介武夫，竟能想出这样的点子，真是难为他了。春节一过，张作霖便给了张宗昌一个任命。没想到这个任命却让张宗昌大跌眼镜，原来张作霖任命张宗昌这个师长级军官为宪兵营长。张宗昌背后大发牢骚：“我张效坤一出山就是团长，就算不给师长、旅长，起码也要给个团长干干吧？如今费尽心思竟然弄了个营长，真是丢尽颜面，不干了不干了！”
同张宗昌一起来奉天的许锟赶紧好言相劝：“人在屋檐下，不得不低头，况且咱们现在要兵没兵，要钱没钱，不干了能去哪儿？在这儿起码有人养着，剩下的，就靠咱们努力争取吧。”张宗昌想想有道理，只好委屈地当了这个宪兵营长。
张宗昌旧部程国瑞、祝仞千听说张宗昌投靠了奉张，千里迢迢出关前来投奔。紧接着，受陈光远排挤的褚玉璞也来到奉天，进到宪兵营，双膝跪在张宗昌面前表示忏悔。这时，有人小声提醒张宗昌不要收留褚玉璞，以免再遭暗算，张宗昌却不以为然，双手扶起褚玉璞，对周围人说：“不是有句话，叫‘浪子回头金不换’么，如今蕴山（褚玉璞字）回头了，大家还是好兄弟，以前的事谁都不准再提。”
于是，张宗昌带着他的好兄弟，在宪兵营里养精蓄锐，伺机再起。
1922年4月，直奉大战爆发，张宗昌投靠奉系之后第一次有了任务，被任命为苏鲁别动队司令，率部深入直军后方，即徐州、海州一带，骚扰直军后方，切断津浦铁路，以达成两面夹击直军的态势。
这一差事是费力不讨好的，路途遥远且艰险，稍有不慎便会一去不复返。即便历尽艰险取得成功，头功仍属于正面战场。为了鼓励张宗昌，张作霖允诺战胜直军后，将山东划给他做地盘。张宗昌信以为真，立刻打起精神，向山东进军。
张宗昌没有受到什么阻碍，便来到苏鲁边境的大兴镇，这里官兵控制较弱，张宗昌因此放松警惕，开始憧憬未来。他对部下说：“等打败了吴佩孚，我就是山东督理了，到时，竞武（程国瑞字）就当登州镇守使，蕴山做临沂镇守使……”
然而，就在张宗昌及其部下做美梦时，大兴镇已被江苏省赣榆县县长王小辫率兵悄悄包围，好在王小辫只有400人，张宗昌部不仅顺利突围，还调过头来将王小辫包围，打得王小辫部落花流水。
张宗昌见好就收，打败王小辫即率部向郯城方向进发，走着走着，他发现王小辫重整队伍又跟了上来，便加快脚步，王小辫见张宗昌跑得快自己追不上，也就放弃了。出了大兴镇，张宗昌才得知，正面战场的奉军已溃败，吴佩孚命苏、鲁、津驻军截击张宗昌，张宗昌的别动队一共千余人，根本不是对手。面对围追堵截的直军，张宗昌的部下各自逃命，张宗昌仅带两名亲信逃到青岛，后乘船返回奉天。
抵达奉天后，张宗昌又成了光杆司令，到帅府面见张作霖的时候心里极其忐忑，还没进门就远远看到站在张作霖身边的杨宇霆，心里暗叫不妙。果然杨宇霆冷着脸蔑视地看着张宗昌，张宗昌一脚门里一脚门外时就开始下跪，对张作霖说：“效坤不才，有辱使命，请大帅赐我一死，来生还为大帅效力。”
张作霖自然明白张宗昌的失败是大势所趋，连忙摆摆手让他起来说话。张宗昌见张作霖无意怪罪自己，大大松了口气，又抱拳说：“听说高、卢叛乱，我愿率兵平定叛乱，将功赎罪。”
原来奉军在关内前线失利的时候，自家后院起火。其“火”由非奉系的原吉林督军孟恩远引起。孟恩远于1919年被张作霖免职，其婿吉林省第一师师长高士傧同时去职，其下属卢永贵做了山里匪首。直奉大战爆发前，吴佩孚看到高士傧可以利用，便委任他为吉林讨逆军总司令，卢永贵为副总司令。直奉大战爆发后，高、卢趁乱自中东铁路终点绥芬河向哈尔滨进军。
如今张作霖从关内败退，兵疲将惫，一时找不到合适人选前去平定高、卢叛乱，张宗昌自告奋勇，正好解了张作霖的燃眉之急。因为张宗昌地理熟悉，又有股子冲锋陷阵的猛劲，张作霖觉得胜算把握极大，就算败了奉军也没什么损失，于是对张宗昌说：
“你去平乱可以，只是没有军队给你。”
“我用原先旧部几百人就行，但请大帅拨给一门山炮，再电告黑龙江当局，说张宗昌率四个师前去平乱，请准备充足给养。”
张作霖一一答应，此后另外拨给张宗昌步枪200支，短枪若干。于是，张宗昌召集起旧部300余人，向哈尔滨进军。为了壮大声势，张宗昌令他的部队登上开往哈尔滨的火车后，全部挤在窗口和车门处，让不知内情的人以为张宗昌人马众多，张宗昌还做了一面印有“奉天陆军第一师”的大旗，插在火车头上。一路上，火车每到大站必停，张宗昌的亲信们便会下车招募士兵，到达哈尔滨时，张宗昌的队伍已经增加至1000余人。
兵力有了，武器远远不够，张宗昌只好向黑龙江督军吴俊升寻求武器支援。吴俊升虽然生在东北，但祖籍山东，和张宗昌算是半个老乡，张宗昌知道吴俊升爱马，特意从奉天购得两匹良马带来，取悦吴俊升。而吴俊升考虑到高、卢叛乱会威胁到他在黑龙江的统治，如今不用自己出兵，只需给张宗昌提供武器便可解除危机，实在划算，于是大方地拨给张宗昌300支铅弹子步枪，三挺重机枪，山炮一门，子弹以及粮草给养若干。
这次两门大炮帮了张宗昌大忙，张宗昌与卢永贵的部队在中东路九战附近相遇，卢军兵力明显在张宗昌之上，又有火车源源不断运送军需物资，火力防守严密，一时难分胜负。正在双方激战中，忽见对方一列军用火车自东呼啸而来，张宗昌立刻大喊：“开炮！”
这支刚刚拼凑起来的部队大多没上过战场，听张宗昌喊过之后，几名炮兵才明白怎么回事，赶紧开炮，竟然两炮将火车打翻了。卢军官兵也是乌合之众，哪里见过这么厉害的大炮？一时阵脚大乱。加上卢军中多是在沿途召集起来的农民、工人，其中不乏山东人，甚至有些人曾跟随张宗昌修过铁路，受过张宗昌恩惠，如今见张宗昌声势浩大，有的倒戈，有的则吓得四处逃窜，战场上一片混乱。高、卢见大势已去，只好撤退。
张宗昌乘胜追击，接下来连破八站、七站、六站、五站，击溃高、卢全部据点，这才给张作霖发去捷报。张作霖没想到张宗昌带着300人的杂牌军出发，竟能在如此短的时间内平定高、卢叛乱，遂任命张宗昌为绥宁镇守使，兼吉林防军第三混成旅旅长和中东铁路护路军副司令。
重整旗鼓，直奉大战中崛起
张宗昌岂会满足于一旅兵力？如今有了正式名分，便开始四处招兵，一方面在东北设立新兵招募机构，大量招募在东北的山东人从军；一方面派人到山东挖掘兵源。1922年冬，俄国红军进攻海参崴，海参崴的白俄军不敌，纷纷向中俄边境溃退。这些白俄军武器精良，被张宗昌看中。在得到张作霖的应允后，张宗昌给了白俄军一笔钱，获得6000支水连珠七七步枪，48挺机关枪，13门七七山陆炮以及其他枪支弹药、通信器材，等等，并且收编了500名白俄兵。
张宗昌对这支白俄军极其宠爱，当时中国士兵只吃高粱面就咸菜或菜汤，白俄士兵却每天都是牛肉面包，白俄军官更是大酒大肉，极其奢华。当时许多中国人向白俄士兵开玩笑问：“你爸爸是谁？”白俄士兵均回答：“我爸爸是张宗昌。”作战时友军向白俄兵问口令，白俄兵也只会说：“张宗昌的老毛子。”可见这些白俄兵心中只有张宗昌。
由于张宗昌的个性作风与这些骁勇善战但纪律散荡的白俄兵不谋而合，白俄兵对张宗昌惟命是从，即使上刀山下火海也在所不辞。有了这支精锐部队与先进的武器装备，张宗昌的部队如虎添翼。
第三混成旅编成后，张宗昌的总兵力已超过一万人。由于严重超员，单靠张作霖拨给的粮饷远远不能维持，张宗昌从第二年开始在辖区大量开垦荒地，以种粮为名大量种植鸦片，不仅解决了粮饷问题，而且属下大多数军官以及张宗昌本人都因此富得流油。
由于张宗昌一举平定高卢叛乱，在张作霖心目中地位倍增，如今又是实力大增，令杨宇霆、张海鹏等人气得眼红，他们看不惯张宗昌一个外来人在他们的土地上耀武扬威，更不能容忍张宗昌与他们并驾齐驱，屡次在张作霖面前诋毁张宗昌，说张宗昌“在绥芬河一带遍种鸦片，搞得百姓赤贫，尸骨成山。不出几年，那里将无可以御敌之兵”。其目的就是劝张作霖遣散张宗昌这支队伍。
张作霖对张宗昌种植鸦片一事早有耳闻，但并未在意，如今听杨宇霆提到“不出几年，那里将无可以御敌之兵”，一下子提起警觉，官兵都成了大烟鬼，还谈什么御敌呢！适逢1923年奉系陆军在怀德举行秋操，张宗昌的吉林防军第三混成旅也在检阅范围内，杨宇霆等奉系嫡系人士极力主张通过这次秋操将张宗昌赶走，张作霖不置可否，对校阅委员说：“每年花一百多万，就为了养这群种鸦片烟的杂牌军，太不像话，你们若是看着他们不行，就把他们遣散好了。”
张宗昌虽不知张作霖对他态度的变化，但他清楚这次秋操的重要性，他要好好表现，让奉系的人对他刮目相看。
检阅分为三部分，分别是检阅军队装备、基本技能和野外攻防能力。负责检阅装备的是张学良和李景林。张学良见张宗昌军队中竟有500多部电报机，惊讶地问：
“这是从哪儿弄来的？”
“白俄军送的。”张宗昌回答。
“那这些田瓜式手榴弹呢？”
“这是买的，两块大洋一个。”
张学良对张宗昌搞了这么多先进装备非常吃惊和赞赏，对张宗昌的豪爽与才干更是留下一个好印象。于是，在张学良的坚持下，张宗昌顺利通过第一项检阅。
张宗昌部队的基本技能训练都是由许锟负责，许锟是教育团教官，训练军队是行家里手，无论平时训练还是表演，都做得严格规范，一丝不苟，使第二项检阅顺利过关。
第三项检阅内容是最困难的，而负责该项检查的是郭松龄。郭松龄对张宗昌成见更深，对他百般刁难。检阅开始，首先由张宗昌部渡河攻击对岸的李景林部。此时正值深秋，关外已经非常寒冷，温度在摄氏零度左右，河水冰冷刺骨，士兵们冲到河边后，迟疑着不肯下水。程国瑞一看急了，照着一个在河边发愣的士兵“嘭”地就是一枪，接着率先跳下河去。而张宗昌与参谋长王翰鸣就在后边举枪而立，士兵们见状哪里还敢怠慢，一个个争先恐后往水里跳，红着眼拼命地向对岸扑去。
上岸后，张宗昌部叫喊着杀进李景林的阵地，李景林部早就被张宗昌部的气势吓倒，很快溃败而逃。占领了李景林部阵地，张宗昌部士气愈发高涨。岂料，冲锋号响起后，前面一片收割后的高粱地让张宗昌部大遭其殃。
本来乘胜追击是比较顺利的演习，但追到一片收割后的高粱地后，高粱茬子坚挺地戳在地面上，偏偏下过一场大雪，数尺深的大雪将所有高粱茬子覆盖，锋利的茬子尖隐藏在白雪下面。士兵们冲进高粱地，踩在尖锐的茬子尖上，顿时响起一片“哇哇”惨叫。偏偏又传来“原地卧倒”的号令，这一卧，所有人都趴在了高粱茬子上，惨叫声此起彼伏。如此奔跑、卧倒反复多次，士兵们个个落得浑身是伤。
受此虐待，张宗昌心里非常气愤。休息时，张宗昌和参谋长王翰鸣等人到附近的土屋里暂避风雪，张宗昌拿出烧酒，一边喝一边大发牢骚：“他妈的，这是哪个龟孙子的计划，把我们害成这样！”
这时郭松龄推门而入，怒视着张宗昌问：“你骂谁？”
张宗昌愣了一下，喝口烧酒说：“我没骂谁，这是我的口头语。”
郭松龄大发雷霆，怒气冲冲骂道：“我×你妈！这也是我的口头语。”
张宗昌被激怒，双眼瞪得溜圆，脸色由红到黑，看上去已忍无可忍。他扔下烧酒瓶子，一跃而起，一步跨到郭松龄跟前。大家都为张宗昌捏了把汗，因为他一旦动手或者开枪，不仅他本人将大祸临头，就是他手下这万把人马也将后果不堪设想。
就在这一瞬间，张宗昌忽然换上一副笑脸，对郭松龄说：“郭二大爷，你×俺妈，你就是俺的亲爸爸，还有什么说的？”
郭松龄确实无话可说，只好拂袖而去。
事后，在李景林的劝说下，张宗昌和郭松龄表面上握手言和，张宗昌、郭松龄、李景林还和张学良结拜为兄弟，决定以后同心协力，为奉系效力。但郭松龄事后却说：“和效坤那小子结拜，并非我本意。”由此可见，两人矛盾并未消除。
张作霖对张宗昌此次表现非常赞赏，认为张宗昌的部队讲义气，能打硬仗，具有正规军所没有的气魄，从此将张宗昌部视为亲兵，不仅补发了张部四个月的军饷，还提供了大量枪支、军需品，并将其番号改为奉军陆军第三混成旅。
1924年9月15日，第二次直奉大战爆发，张作霖自任镇威军总司令，率22万大军向九门口、山海关、热河扑来。张宗昌充当先锋军，首先进军热河地区。由于此地是直军防御最为薄弱之处，趁着直军援军未到，张宗昌顺利而迅速地完成使命，为奉军在此次战争中开了个好头，并因功被提升为奉天暂编第二师师长。
接下来，张宗昌继续南下，向长城冷口方向前进，于10月初在玉麟山遭遇直系董政国部的阻拦。玉麟山地势险要，易守难攻，董政国部又是直军中精锐部队，士兵对战法都有研究，显然这是一场硬仗。好在张宗昌部实力雄厚，不仅拥有王翰鸣等一批优秀参谋人员，还有日本军事顾问为他出谋划策。加上张宗昌的武器先进，拥有13门七七山陆炮、一门七五山炮、20门八二迫击炮以及几门土炮等。凭借这些，张宗昌与董政国部激战十多个昼夜，终于攻克玉麟山。其间，参谋长王翰鸣在箭不容发之际，以一纸密令调兵解除后路危机，为玉麟山之战的最后胜利奠定了基础。
下一个目标就是冷口了，此地位于直军后方，若能攻下此地，便能对直军形成前后夹击之势。张宗昌率部急行军四五日，已经饿得前胸贴后背，此时正好看到几片羊群，立刻扑上去，一通宰杀烤熟，接着便是狼吞虎咽。
此时董政国部已抢先在冷口构筑了纵深七八里的防御工事，最前面是地雷区，接着是鹿砦、铁丝网，后面是外壕、盖沟，加上长城高不可攀，不可能强攻，一时间张宗昌的参谋都默默无语地吃着羊肉，思考着如何智取。
张宗昌突然想到什么，他看看手里的羊腿，又朝着羊群眨巴眨巴眼睛，兴奋地说：“有办法了！”接着叫来几名羊倌说：“从现在起，我们不再吃你们的羊，你们把我的部队送过长城，我就让你们带着剩下的羊回家，好不好？”羊倌儿们赶紧点点头，张宗昌见他们答应，咧着嘴笑起来。
于是，在几名羊倌的带领下，程国瑞的两个营从冷口西边偷越长城，于夜里偷袭董政国部驻防的建昌营，董政国没有想到是张宗昌部越过长城偷袭，以为是正面战场上的奉军主力从山海关方向冲杀过来，仓皇向西南逃去，张宗昌智取冷口成功。
第二天天一亮，张宗昌部便登上长城，白俄军们大多第一次见到长城，叽里呱啦说个不停，还间杂地发出赞叹声，白俄军问张宗昌：“长城是什么时候建的，为什么而建？”张宗昌眨眨眼，支吾道：“唔，这个，什么时候建的……参谋长，参谋长呢？”王翰鸣听到张宗昌的声音赶紧跑了来，这才解答了白俄军的疑问。
攻下冷口后，张宗昌又谋划攻占滦州。10月23日，冯玉祥倒戈回京，发动“北京政变”，吴佩孚回京镇压，造成前线军心动摇。10月27日，张宗昌的部队抢占滦州车站，切断路轨后分头截击直军。此时直军已全线溃败，张宗昌几乎不费一枪一弹便占领滦州，并缴获大批战利品，发了一笔小财。
此间颇有戏剧性的是，当部队占领车站后，张宗昌走进直军的电话室，正巧电话铃声大作，张宗昌随手拿起耳机，问：
“你是哪里？”
“总指挥部。”
对方所说的自然是直军的总指挥部，但张宗昌已经听出声音很耳熟，又问：
“你是哪位？”
“我是李参谋长。”
果然不出所料，直军总司令彭寿莘的参谋长，正是张宗昌任第一师师长驻扎江西时的参谋长李藻麟。张宗昌在江西失败时，李投身于直系，当了彭寿莘的参谋长，正是冷口战役中指挥彭部对张军作战之人。张宗昌饶有兴趣地说：
“你是李伯仁吧？”
“是！”对方很干脆地回答，又问：“你是谁，现在哪里？”
“我是张宗昌，现在滦州车站。”
这个回答，等于告诉李藻麟，直军已经兵败撤退，奉军已经占据滦州。尤其张宗昌是李的老上司，令李十分尴尬，随后挂断了电话。
张宗昌一直认为李藻麟是个人才，冷口之战后即指示参谋长王翰鸣：“到天津后，你设法找到李伯仁，一定把他拉到我们这个阵营里来。”
王翰鸣理解张宗昌求贤若渴，不念旧恶，但身边很多人持反对意见，认为张宗昌不该如此宽厚大度。后来王翰鸣派人去北京找到李藻麟，说明来意，李藻麟怀着愧疚不安的心情来到天津，面见张宗昌，张宗昌即任命他为随军参谋长。李藻麟从此忠心耿耿为张宗昌出谋划策，立下了汗马功劳。
占领滦州后，张宗昌挥兵向南追击，攻克芦台后，经昌黎、军粮城，直抵天津。其间，张宗昌不仅一口气接收了直军彭寿莘、董政国两部共六七万人，而且沿途大量接收直军其他投降部队及散兵游勇，一时间实力大增，控制天津后，张宗昌的部队已达十万人之多。
督鲁三年，督办的位子不稳
由于立下赫赫战功，张宗昌因此深受张作霖青睐，很快被提升为第一军军长，所有从征人员全部晋升一级，中下级军官均升为将校级，其部下们都乐得飘飘然起来，张宗昌率先控制天津，自认为直隶督办非他莫属，更是喜滋滋地对部下们许诺说：“等我当了直隶督办，给你们一人一个镇守使干，到时候，你们都可以享清福了。”
然而，尽管张作霖对张宗昌青睐有加，却仍然不能将直隶督办的职位送给张宗昌。这不仅因为他非嫡系出身，重要的是摆不平资格更老的李景林与杨宇霆，何况张宗昌的部队桀骜不驯，勇猛有余，却对地方上骚扰过甚，京津地区比不得其他地方，惹出争端非同小可。于是将直隶督办给了李景林。
张宗昌拼命立下头功，却没能得到一块地盘，气得破口大骂。这时，王翰鸣从旁边提醒他说：“咱们军队军纪一向败坏，此番进津更是抢了一路，被百姓们称作‘三光’部队，也难怪不让你当督办。”张宗昌听后，闭嘴不骂了。
没有地盘，10万多军队无从安置和发展，张宗昌采取李藻麟的建议，先与李景林联合，求得暂时安身。本来李景林督办之位尚未坐稳，担心张宗昌不服气会采取武力行动，没想到张宗昌凭借强大的军事后盾，帮助赶走处处掣肘他的直隶省长杨亦德，因此对张宗昌心怀感激，使其成为直隶第二主人。
尽管如此，寄人篱下终究不是长久之计。正当张宗昌巴望着争取一块地盘的时候，张作霖便给他送来了这个机会。其实张作霖对此不是没有考虑，但为了向南扩张，离不开张宗昌这支劲旅给他冲锋陷阵。直系战败后，张作霖等人请出皖系段祺瑞出任临时执政，1924年12月11日，直系江苏督军齐燮元被免职，皖系卢永祥被任命为苏皖宣抚使，张作霖令张宗昌护送卢永祥南下就职，然而护送是假，张作霖想要染指长江流域是真，张宗昌的任务便是打退齐燮元，借机扩张。
张宗昌以为争取地盘的机会终于来到，异常兴奋。由于山东督办郑士琦为皖系人物，因此张宗昌护送皖系卢永祥“借路”非常顺利。通过山东后，接下来就要过徐州，徐州镇守使陈调元是直系齐燮元手下大将，但也与张宗昌为莫逆之交。当年张宗昌在冯国璋的江苏都督府任职时，陈调元是冯的宪兵司令，张宗昌为朋友向来挥金如土，其间为陈出钱娶了上海名妓花四宝做姨太太，两人交情匪浅。闻听张宗昌南下，陈调元立刻将军队调出徐州，退往砀山、丰沛一带。张宗昌遂得以兵不血刃占领南京的门户——徐州。
接下来，张宗昌以白俄军为先锋，白俄军坐在铁甲战车里，一手拿枪一手拿酒，不要命地向前冲，齐燮元部没多做抵抗便弃城而逃。1925年元旦，张宗昌进入南京，随后一路势如破竹，直攻到无锡。1925年1月28日，齐燮元通电下野，次日，张宗昌即进驻了上海。
张宗昌本以为这次江苏督办非他莫属，于是在上海花天酒地，等待张作霖控制的段祺瑞政府的委任。然而，晴天一声霹雳，张宗昌被任命为苏皖鲁剿匪总司令，驻扎徐州。这意味着他再次与督办无缘。张宗昌的部下顿时炸成一锅粥，骂骂咧咧表示对这一任命的不满。
但这次，张宗昌的反应令所有人大出意外。他不仅没有破口大骂，反而表现得异常平静，老老实实地整理队伍开赴徐州。一到徐州，张宗昌便带着厚礼前往奉天，看望张作霖。一进门，张宗昌即立正行礼：“报告，苏皖鲁剿匪总司令张宗昌到。”
张宗昌向来大大咧咧，粗鲁不文，尤其不喜欢繁文褥节，而在张作霖面前如此有规有矩，完全是三年前张作霖“调教”的结果。当时张宗昌平定高、卢叛乱后回到奉天，还没到张作霖的办公室就大声喊道：“老爷子，效坤回来了……”张作霖见他如此没有规矩，不由得拍案而起：“出去，你还算个军人吗？当在你家呢？给我重进！”张宗昌蓦然一惊，赶紧立正、转身、出门，然而再立正、转身、进门，进门后又立正、行礼，一板一眼地说：“报告，张宗昌到。”
从此，张宗昌到张作霖的办公室，一直沿用这一模式。但眼下，张作霖反倒希望张宗昌随意一些，像在家人至亲面前无拘无束。张宗昌一次次建立战功，却一次次没有得到地盘，但依旧对张作霖忠心耿耿，令张作霖心怀愧疚，如今又见张宗昌带厚礼来见，更有些不好意思。
张作霖热情地将张宗昌迎进屋里，说道：“唉，这几个月委屈你了，我也有难处。我已经想好了，把山东给你，怎么样？”张宗昌没料到事情进展得这么顺利，立刻喜上眉梢，对张作霖千恩万谢。
1925年5月7日，张宗昌抵达济南就职，至此，张宗昌费尽周折，终于圆了督办梦，在这块好不容易争取来的地盘上，张宗昌尽情地安插亲信，横征暴敛。
但好日子没过多久，战事又起。6月13日，张作霖借口上海发生“五卅惨案”，派奉军进驻上海，任命邢士廉为上海警备司令，8月25日又任命杨宇霆为江苏督办、姜登选为安徽督办。如此一来，已获得浙闽两地的浙江督办孙传芳的利益受到威胁。10月15日，孙传芳通电宣布成立浙、闽、苏、皖、赣五省联军，自任五省联军总司令，向奉系宣战。
由于奉系在江苏只有两师兵力，杨宇霆“识相”地主动北撤，孙传芳只用一天，便占领了上海、南京。为了抵抗气势汹汹的孙传芳，张作霖任命张宗昌为直、鲁、苏、皖防御总司令，南下阻击孙传芳。10月21日张宗昌率部赴徐州，部署三道防线抵御孙传芳。10月31日，孙传芳针对张宗昌的防御，向蚌埠、宿迁、永城以北扑来。
久未经历败仗的张宗昌此次遇到了劲敌。战争开始时，张宗昌以第二军军长施从滨为前敌总司令，乘铁甲车亲自指挥作战，以白俄军为前锋，与孙军马葆珩团在任桥、固镇一带相遇并发生激战，白俄军凶猛残暴，将马葆珩团包围后，以挖眼睛、割鼻子等残忍手段杀害了马葆珩团50人，不料此举激发了马葆珩团的潜力，他们没命地攻击白俄军，最终活捉了300多名白俄军。
与此同时，孙传芳还绕到奉军后面，破坏铁路，阻断奉军后路，使得奉军腹背受敌，最终施从滨被杀，而张宗昌引以为傲的白俄军全军覆没。张宗昌对孙传芳恨得咬牙切齿，他决心为施从滨和白俄军报仇，然而几次亲临前线指挥，均不能挽回败局，不得不于11月6日挥泪撤回山东，孙传芳占领徐州后，也停止了前进。
回到济南后，张宗昌仍不得安宁，先是吴佩孚派靳云鹗与驻防河南的国民军岳维峻部乘张宗昌兵败徐州之际，夹击山东；接着在山东不得势的夏蒲斋等人联络青岛胶澳护军使张怀斌等人意图趁乱取张宗昌而代之，张宗昌一个头两个大，好不容易击退外敌，平定内乱，重新坐稳山东督办之位。
这时，西北边防督办冯玉祥的国民军进军天津，直隶督办李景林丢了天津后跑到济南向张宗昌求援，张宗昌立即同李景林组成直鲁联军，杀进天津。1926年3月下旬，张宗昌的部队占领天津，其部下褚玉璞被任命为直隶督军，张宗昌被封为“义威上将军”。
当张宗昌终于巩固了山东督办之位，用心经营着山东地盘的时候，1926年7月，北伐战争爆发，张宗昌的噩梦也随之开始了。
北伐军一路势如破竹，横扫着北洋军阀的残余势力，吴佩孚兵败逃往四川，一些地方军阀纷纷倒戈投靠蒋介石。当北伐军将枪口对准孙传芳的时候，张宗昌与张作霖同样感到面临的危机。为了对抗北伐军，张宗昌与孙传芳这对昨日战场上的冤家不得不冰释前嫌，联手合作。11月29日，孙传芳、张宗昌以直、鲁、豫、苏、皖、赣、浙、闽、陕、晋、察、热、绥、吉、黑15省区联名的形式，推戴张作霖为安国军总司令。12月1日，张作霖在天津蔡园就职，任命张宗昌、孙传芳为安国军副总司令，同时命令张宗昌南下援助孙传芳。
此时，孙传芳的部队因为连吃败仗，已被北伐军吓破了胆，几乎完全失去了战斗力。张宗昌调集17万大军，于1927年初南下，兵分两路接替孙军。一路由褚玉璞率领，进驻沪宁一带；一路由张宗昌亲自率领攻占安徽。然而，张宗昌的直鲁联军仍然没有摆脱孙传芳连吃败仗的命运，沪宁一带先后被北伐军攻下，张宗昌在安徽与已倒戈的马祥斌部激战三个月，未取得进展。最后马祥斌在北伐军的配合下，挫败张宗昌的进攻。张宗昌不得不退回济南，以直鲁联军全面溃败结束了此次南下作战。
蒋介石发动反革命政变后，宁汉分裂，发生武装冲突，蒋介石不得不抽调兵力与武汉对抗。张宗昌、孙传芳乘机反攻，一举收复藤县、临城、台儿庄等地。6月18日，张作霖在怀仁堂就任安国军政府海陆军大元帅，任命张宗昌为第二军团军团长，孙传芳为安国军第一军团军团长，两人乘胜追击，7月连克徐州、蚌埠、浦口，将北伐军逐回长江南岸。8月，孙传芳渡江南下，准备进攻南京。张宗昌在陇海线上与冯玉祥展开恶战。然而好景不长，8月底孙传芳在“龙潭战役”中一败涂地，10月底，张宗昌在兰封一带大败而归。
遭遇北伐，错失了投诚良机
1928年4月，二次北伐开始后，北伐军很快逼近济南，张宗昌不得不放弃山东这块地盘，向直隶逃去。张宗昌以为褚玉璞是他的手下，褚玉璞的地盘就是他的地盘，所以到达直隶后对褚玉璞说：“我把山东赔光了，来到你们直隶，我是在这里吃劳金。”
劳金是买卖人的口语，意思就是自己的商号倒闭了，到联号吃伙友，和吃自己的劳动力一样。张宗昌到了直隶仍摆出“老大”的架势，令褚玉璞很不高兴。常言说“一山难容二虎”，两人在权力和财政上难免发生争执。有一回，褚玉璞打算出门，刚上车便遇到王翰鸣来访，他把王翰鸣拉到车里，问：“你看督办会不会枪毙我？”王翰鸣赶紧说：“哪有这回事，你不要听信谣言。”由此可见张宗昌与褚玉璞关系之紧张。
随着奉军前线连连溃败，张作霖于5月下旬在北京召开会议，决定撤离北京。会上，张作霖令张宗昌退守热河，张宗昌一听不让他进东三省，心中顿生一股火气，负气说：“我不退，我掩护大军，死守津京。”
不管张作霖做此决定是出于何种考虑，在张宗昌看来，都是对他不信任的表现。他对张作霖忠心耿耿，为他出生入死，仍不能换取他的信任，心中无比愤懑与悲哀，冲动之下，为表示自己的忠心，大义凛然地提出掩护奉军后撤，死守京津。但事后却很是后悔，无奈话已出口，也只能硬着头皮干下去。也正是这一冲动，加速了他的最终灭亡。
就在这个时候，张宗昌的老上司李征五突然来到天津，登门拜会张宗昌。自从1911年跟随李征五从海参崴回到内地，张宗昌对这位将自己扶上战马的老上司，历来敬重有加，甚至是言听计从。他亲自到车站迎接李征五，并设盛宴热情款待。席间，李征五道出此次来访目的：
“我是受蒋委员长之托而来，蒋委员长对我承诺，只要你愿意接受南京国民政府的改编，改悬青天白日旗，直鲁两省仍归你统辖。事到如今，你可要抓住这个机会！”
张宗昌沉默半晌，他知道这是个扭转败局的机会，尤其在张作霖不信任的情况下，他本应借机投蒋，但是，这个一辈子大大咧咧的粗人，在这个特殊的时候想问题却十分细心，他说：
