在进入讲武堂学习之前，张学良已经先后担任过奉天督军署卫队营营长、卫队混成旅第二团团长等职，1920年他以炮兵科第一名的成绩从讲武堂毕业后，望子成龙的张作霖采取了一系列可能奏效的办法，促使张学良崭露头角，先是被授予陆军炮兵上校职衔，后又擢任奉天陆军第三混成旅旅长。
直皖战争爆发，张学良便参加了战争，这是他初次参与战争。在这场战争中，张学良除了执行“近卫”的任务外，还参加了总司令部的工作，是东路奉军的重要指挥人员之一。在天津小站，张学良所部以一团兵力击败皖系龙济光两个旅之众，由此，张学良开始崭露头角，声名鹊起。
1920年夏，吉林、黑龙江两省土匪十分猖獗，到处为患，张学良奉命率本旅官兵赴吉、黑一带剿匪。张学良与士卒同甘共苦，知难而进，向匪巢佳木斯进攻，土匪弃城逃跑，张学良率领部队收复了佳木斯，剿匪大获全胜。经受了直皖战争和黑吉剿匪的锻炼，张学良在奉军将领中初露锋芒，11月，他被晋升为陆军少将。从此，他在东北政治、军事等各项事务中，逐渐担负起越来越重要的领导职务，开始进入决策圈。
1921年，张学良奉父命访问日本，父亲希望他能悉心观摩日本军队的军事演习，相机了解日本军队的实力，以作为将来他经营东三省的借鉴。在日本，张学良大开眼界，见识到了最先进的近代化军事力量，海军的强大，兵工厂、武器库的设备精良，官兵万众一心的精神面貌，无不深深刺痛了这个年轻人的爱国心。张学良的民族意识膨胀到了极点，他强烈地感到日本对东北是一种严重威胁，他痛感奉军的近代化问题已成燃眉之急，势在必行。回国后，张学良向父亲提议要效法日本，实现军队的现代化，并暗下决心一定要赶超日本。他建议对奉军进行整治，选拔军官，加强训练。张作霖听了他的意见很高兴，并采纳了他的建议。
1922年，第一次直奉战争爆发，张作霖把奉军改为镇威军，自任总司令，张学良任东路军第二梯队司令，担任从静海东取霸县，直捣直系老巢保定的任务。东路军出师告捷，小胜在握，西路军却一触即溃，一路溃败，被迫撤退。张作霖见大势已去，急令总退却，张学良又率领部队有秩序地后撤，未受丝毫损失，撤至滦州。张作霖为防止直军追击出关，任命孙烈臣为前敌总司令，下分两路军，第一路军，由张学良任总司令，统辖第二、三和十一等3个混成旅以及由前方收编的溃散部队，约3万人。第二路军由李景林任司令，统辖第一师及收编的溃散部队，约2万余人，布置在山海关一带，迎击直军。直军由二十三师师长王承斌率领部队7万余人追到山海关，双方发生战斗，奉军抵制住了直军的进攻。直奉两军停战，孙烈臣、张学良作为奉军全权代表同直军签订停战和约。张学良在这场战争中初步显示了其潜有的军事指挥才能，同时，张学良所率的其部官兵也表现出训练有素、英勇善战、军纪严明等良好素质。
第一次直奉战争奉军虽然失败，但并未受到严重损失，张作霖把奉军撤回关外，宣布独立，重整旗鼓，以图东山再起。张作霖对张学良在第一次直奉战争中表现出的指挥才干很满意，从此，要张学良“未足而立之年，即负方面大任”。张作霖成立了东北陆军整理处，任命张学良为参谋长，具体负责对奉军改革整顿工作，奉军的军权渐渐集中到了张学良手里，他开始实行改革，变动人事。经过两年的改革整顿，奉军军队素质有了显著提高，大大增强了战斗力。1923年9月，张学良又被任命为东三省航空处总办，负责组建空军，从意大利、法国、德国购置飞机200余架，编成5个飞行大队。第二次直奉战争时，组建东北空军司令部，张学良任空军司令。
第二次直奉战争于1924年9月开战，张学良为奉军第三军军长，当时直军凭依雄关，以山势之峻、长城之险，居高临下，直奉两军战斗异常激烈。正在这种紧要关头，副军长郭松龄因被一句无心之话伤了自尊心，竟率部退出火线，张学良策马扬鞭将郭劝回。在这次战争中，张学良以直奉两军冲突最激烈的山海关为据点，担任前线总指挥，运用巧妙的战术消灭了敌军主力。直系军阀由于在山海关的失利，以及冯玉祥的突然倒戈而彻底崩溃，第二次直奉大战以奉军胜利而告终。山海关大捷使张学良的名望大振，他在奉军中的地位已不可动摇。1925年4月，他被晋升为陆军中将。奉军在胜利后大举进关，成立京榆驻军司令部，张学良任司令。
