一边是“安国军”副总司令，一边是北方国民革命军总司令，阎锡山在两边都挂着钩，观望形势而来回掂量。这时，阎锡山盘算的是，北伐军虽然节节胜利，但离山西还是太远。奉军仍盘踞着京津地区，强大的实力分布在京汉线和京绥线一带，自己如果表态太早，反倒会惹怒张作霖，招来大祸。因此，他也没有立即就任北方革命军总司令一职，并且，还派出代表在北京与奉系继续维持关系。
形势不断发生着出人意料的变化。4月12日，蒋介石发动政变，向中国共产党和革命群众举起了屠刀，并建立南京国民政府，与汪精卫的武汉革命政府对立，史称“宁汉分流”。阎锡山看到蒋介石在北伐军中有着强大的势力，特别是他以国父孙中山的传人自居，以后会是中国政局中举足轻重的人物。而此时，北伐军已在向河南开进，冯玉祥的西北军也已向着东边逼来，再拖延下去不表明态度，山西就会成为北伐军的攻击目标。于是，6月，阎锡山赶忙宣誓正式就任北方革命军总司令，并且在山西改悬青天白日旗，公开了联蒋反奉的立场。
旗帜是打出来了，但阎锡山继续以保存自己实力为核心，玩弄脚踏两只船的把戏。他盘算：北伐军尚在豫南，而奉军在郑州以北的京汉沿线驻有重兵，如果自己动作失当，还是有招来攻击的危险。因此，他不仅不积极出兵协助北伐军，相反却派代表前往济南等地与奉方的部队拉关系，设法减轻奉军对山西的压力。张作霖对他易帜联蒋极为不满，曾派人到太原，警告他悬崖勒马，必须立即取消青天白日旗，否则就会有战争发生。阎锡山狡辩说，虽然改挂了青天白日旗，但也并不意味着与张作霖决裂。一面应付，一同却也做好了配合北伐军攻击奉军的准备，将部队沿太行山分几路秘密出击。
这种复杂心理和举措，阎锡山曾在“就革命军北方总司令”的宣言中表白说：山西所处环境至为恶劣，“环绕吾人之左右者，日夜思颠之覆之，欲置吾人于死地。为保留河北以北微弱的革命势力，与三民主义之障碍者虚与委蛇，十四载于兹矣。设使孤军转战，其必败无疑也。”在为自己首鼠两端、朝秦暮楚辩解的同时，也确实道出了为客观原因所迫无奈的一面。
此后的几个月内，又发生了一系列重大事变。
7月15日，汪精卫在武汉也叛变革命，向工农群众开枪，与蒋介石又合流走到了一起。国民党向中国共产党举起屠刀，以“清党”的名义，驱逐和杀害共产党人。阎锡山在反共问题上，一直是态度明朗的。他声称：“共产党挑拨阶级斗争，国民党绝对不可仿效”，并主张“今日的清党，清其人，尤须清其法”。他在山西积极支持和追随蒋介石的清党运动，与当时的国民党山西省党部狼狈为奸，驱逐和杀害共产党人。他在山西成立所谓“自新院”，对政治犯进行感化训化，也算得上是一个发明。而且，他还看到了共产党发动组织的“农民协会”的巨大潜在力量，特别予以反对。他说：“最可注意的是农民协会。工人罢工，铺伙迫掌柜，弊病虽大，范围尚小，操纵较易，尚可转头。若农民协会分散在乡村，范围既大，无论如何组织，无法操纵。即使操纵有术，亦必为共产党所利用。”
但是，中国共产党人并没有被血腥的镇压吓倒。共产党高举革命旗帜，先后组织“八一”南昌起义，9月9日秋收起义，10月11日广州起义等，中国共产党领导下的革命队伍作为一支独立的武装力量，出现在历史舞台上，加入了决定中国命运的拼搏之中，与蒋介石反动势力展开了殊死战斗。
10月1日，阎锡山正式誓师讨奉，派出四路大军：右路军攻取石家庄，而后沿京汉路两侧进击，左路军沿京绥路两侧进击，还有一路则向北京的南北两侧展开袭击，前敌警卫团则由五台县进入河北，袭击奉军侧翼，与正面部队相策应。这是山西军队第一次大规模的军事部署，阎锡山亲临石家庄前线督战。
初期，进展迅速，捷报频传。左右路军都攻城掠地，大跨步推进，傅作义部于10月13日占领了重镇涿州。
这时，奉军组织了强硬的反攻。左路军遭遇两面夹攻，全线动摇，被迫向娘子关撤退；右路军遭到重创，损失惨重，退至大同，又退守雁门关。左、右两路形势逆转，大部队后撤，傅作义部进占的涿州便成为一座四面被围的孤城。奉军得势之后，调集号称30万大军，由张学良等统率，分两路向娘子关、雁门关发起猛烈进攻。晋军凭借易守难攻的地势，利用山西兵工厂制造的爆炸威力强大的短火器，顶住了奉军的一轮又一轮攻击，使奉军的猛攻无法奏效。奉军在山西境内无法取胜，便在河北全力攻击被围的涿州城。奉军一开始看不起防守涿州的傅作义，然而一再增兵，轮番攻击，却总是拿不下来。此事让张作霖甚为恼怒，令张学良亲自指挥，集中精锐兵力攻城。奉军炮弹倾泻如雨，涿州城墙倒塌，四面被撕开了口子，但麻袋堆积而成的新防线立即挡在了奉军面前，奉军始终无法突破晋军的防线。奉军改用挖地道的方法，企图从地下炸毁晋军的防守工事，傅作义识破了他们的计谋，便用在内侧挖坑埋瓮的方法，察听出挖地道的方位，针锋相对予以破坏。晋军在涿州城内挖成了四通八达的交通壕，处处是掩体，步步有防守，建起了强大有效的防御工事，使奉军徒唤奈何。晋军在涿州城内防守了三个月之久，弹尽粮绝，士兵以老鼠、麻雀为食，身体浮肿，极为惨痛。傅作义电请阎锡山派兵支援，阎锡山复电说：“尽军人最后之天职。”不肯派兵前往。傅作义无法，只好与奉军作了有条件的妥协，结束了涿州攻防战，部队被奉军改编，自己被张学良软禁在保定。但这一战却打出了晋绥军的威名，使傅作义成为人们赞誉和崇敬的守城名将。
正当阎锡山誓师讨奉的时候，蒋介石和汪精卫闹了一场“分流”又“合流”的勾心斗角把戏。蒋介石于1927年8月假意下野，跑到日本躲了些日子，于1927年11月10日从日本回到上海。原来不少国民党人看到蒋介石走后无人能够解决国民党内部的分裂混乱局面，纷纷电请蒋介石回国复职，出面收拾混乱的残局。蒋介石在这次访问日本时办成了两件大事，一是征得宋太夫人同意他与宋美龄的婚事，二是得到了日本方面对北伐的理解和支持。
蒋介石发动“四一二”政变一个重要的原因，就是争取英美日各国的政治支持和经济援助。当时在中国如果没有外国政治和经济的援助，是不可能掌握政权的。蒋介石一旦离开苏联的援助，就必须寻找新的援助国，蒋介石把眼光转向英美日等资本主义国家。由于孙中山先生力行“联俄联共扶助工农”的政策，国民党和苏联的关系太深，而且没有苏联的大力支持，北伐战争也不可能进行。有资料显示，苏联对国民党政府提供了高达数百万美元（当时价格）的军事援助。当时的中国极其贫穷，各个军阀并没有多少钱购买军火，而资本主义国家的军火商，决不会象苏联那样提供无偿的军事装备，所以苏联的援助使北伐军的装备大大高于各个军阀的部队。比如大军阀之一张宗昌的部队，有三分之一的人没有枪，连军服也长年不更新，士兵们一个个蓬头垢面，还有很多人连鞋都没有。在这样的情况下，如果只是平和地表示与共产党分手，未必能消除英美日等国对国民党反共之诚意的疑虑。所以蒋介石一不作二不休，用共产党人的鲜血来换取西方列强的信任。果然西方各国对蒋介石的坚决反共大加赞赏，开始在政治上支持蒋介石，这也是蒋介石后来能够在国民党的多次内斗中取胜的一个重要原因。
在蒋介石离去的这一段时间，北伐军迟迟不进，使阎锡山和冯玉祥部都在奉军的攻击面前感到吃力，阎、冯二人都期望蒋介石能尽快复职，便联名请蒋介石回国，主持“北伐”战事。阎还另给蒋致电，表示“公留党在，公去党危，个人之去留事小，党国之存亡事大”，拥戴之情，跃然于纸。蒋介石利用这个机会，从日本回到上海，并派人到山西与阎锡山联络，直言不讳地告诉阎：北伐军之所以前进缓慢，让奉军得以逞强，主要原因是军令不一。应该建议政府委派一人负北伐的军事总责，才能统筹兼顾，行动迅速。阎锡山心领神会，于是在12月11日，与冯玉祥联名致电南京中央党部和国民政府，愿意拥戴蒋介石为国民革命军统帅，愿意接受统帅的指挥。同时，又联名给蒋介石发了一封电报，表示“所望我兄东山再起，主持军政”，“弟等当负弩前驱，愿听指挥”。 有了这一番铺垫，蒋介石理直气壮地返回南京，复任国民革命军总司令。打出“继续北伐”的旗帜。不过此时的北伐，已经与原来的北伐有了天地之差。“四·一二”反革命政变之后，原来支持各路军阀的西方帝国主义国家都转而支持蒋介石。蒋以北伐之名，主持改编军队，成立了四个集团军：第一集团军由蒋兼任总司令；第二集团军由冯玉祥任总司令；第三集团军由阎锡山任总司令；第四集团军由李宗仁任总司令。1928年3月，各集团军出兵讨奉。阎锡山的第三集团军沿京绥线及京汉线以西地区前进，直攻京、津。
有了各路大军的相互配合，晋绥军北上、东进都很顺利。一路上攻下石家庄、保定、张家口等重镇，形成左、右两路对北京夹攻之势。奉系军阀原本就是日本人一手扶植起来的，随着其势力的不断扩大，与日本势力在东北的扩张发生尖锐的矛盾。加上英美势力向东北的渗透，奉日之间的矛盾日益激化。张作霖没有满足日本修建铁路和自由出借东北土地等要求，反而引进英美资金，修建铁路和港口，这就引起日本的极大不满。在各路大军围攻下，张作霖见大势已去，于6月4日乘火车返回东北时，被日本人埋设的炸药炸死在皇姑屯。奉军失去统帅，陷入自身难顾的混乱状态，京、津已经失去了防守。6月8日，阎锡山的队伍顺利开进北京。阎锡山占据北京的行动，先前已经得到了蒋介石的默许和支持。蒋当时认为阎锡山没有“倒戈”的劣迹，把京、津交给他比较放心。因此，蒋亲自出马，先是在河南与冯玉祥会晤商量，又到河北石家庄与阎锡山见面。此时，冯玉祥的部队已经有九个集团军之多，仅嫡系就有40万，在为蒋介石打天下的“北伐”中出力甚大。因为自己在西北一隅，没有个出海口，购买军火极为不便，因此，早有染指天津的打算。蒋介石采取“以阎制冯”的策略，使他很不满意。碍于正在进行的讨奉大局，他只好忍气吞声表示同意。冯与蒋的矛盾在这里深深地扎下了根。
阎锡山进占北京的同时，就派亲信南桂馨偷偷跑到天津，与日本驻天津的军队秘密勾结，取得了日本人的支持；又通过与当时驻扎在天津附近的直鲁军张宗昌部谈判，给了张宗昌不少好处，也取得了张的同意。于是，6月12日，在日军的支持下，晋绥军又顺利接收了天津。蒋介石到达北京后，决定将北京改为北平，委任阎锡山兼任平津卫戍总司令。
这次用兵，取得如此重大的成果，阎锡山真是十分高兴。联合讨奉，他成为最大的赢家。晋、绥、冀、察四省和平、津地区，都成了他的天下。由山西一省，到晋、绥两省，如今再到四省二市，尤其是占据北平，在政治上更有着重要意义。阎的势力急剧膨胀，野心也随之膨胀起来。
联冯反蒋 入主“四九”小朝廷
根据这一“三段论”民主化设想，蒋介石在统一中国后，于1928年6月15日代表国民政府宣布“军政阶段”正式结束，10月3日发表了进入“训政阶段”的宣言，宣布组建一个由行政、立法、司法、考试、监察五院组成的国民政府，这就是孙中山设想的“五权分立”政治体系。开始由“军政”时代进入了“训政”时代。但这个统一，是十分不稳定的统一，虚假的统一。国民政府实际上只控制了几个省。冯玉祥称雄于北方，是有名的西北王，控制了山东、河南、陕西、甘肃、青海以及宁夏等省。阎锡山则从山西省的大本营中向河北、察哈尔、绥远等省发号施令，在南方，李宗仁控制着广东、广西、湖南、湖北。中国实际上被分割得支离破碎，在北洋军阀被打垮之后进入了新一轮诸侯割据。只不过是旧军阀被新军阀取代而已。从某种意义上甚至可以说，所谓“北伐成功”，是在各路军阀的帮助下，让阎锡山的势力得以扩大。阎锡山是北伐成功的最大受益者。
中国又进入一轮新的分合之争的漩涡。共同的攻击目标消亡之后，曾暂时联合的各派力量又各自打起了小九九。
蒋介石谋算着要扩充以自己为首的“中央”的实力，削弱各地方派的实力，就假借祭奠孙中山总理亡灵的名义，把各路实力派头目请到北京，讨论所谓“善后事宜”。接着，又邀请各集团军总司令到南京开编遣筹备会议和国民党二届五中全会。蒋介石的目标是要“削藩”，因而引起各实力派头目的激烈反对。在此关头，阎锡山心里清楚，他预计到蒋、冯、李之间在政治削藩和军队编遣问题上注定会产生不可调和的矛盾，因此，就以“父病侍疾”为由，没到南京参加会议。部下以为这么重要的会议不去出席，是否会吃亏？阎胸有成竹地说：“到南京开会，若顺着冯、李，必取怨于蒋；若顺着蒋，又必取怨于冯、李。让他们闹吧，等双方都需要咱时，再去。”自己躲在北京和五台冷眼旁观，只派了一名亲信到南京探听风向。由于阎的缺席，军事编遣会议不得不延期举行。
到了1928年双十节，蒋介石又生出了新的点子，给各地方实力派首领加官进爵，想趁机把他们调离自己的领地，而后再实行裁兵。于是，任命冯玉祥为军政部长，阎锡山为内政部长，李宗仁为军事参议院院长。同时规定，在中央政府任职之后，应当长期住在南京。
对这种调虎离山的计谋，阎锡山一笑置之。他当即保荐自己的亲信部下赵戴文担任内务部次长，代行部长职权并长驻南京。
蒋介石决定在南京召开军事编遣会议，各集团军首领参加。上次会议，阎锡山躲避未出席；中央任职，他也巧妙地避开。很明显，他既不想让蒋介石束缚手脚，又不想与蒋介石发生正面冲突，而乐于观望冯、李等人与蒋争执，坐收渔人之利。但这次编遣会事关手中军权的去留，山西军队的命运，他不能不去南京出席。如何去，很是动了一番脑筋。坐火车从山西到南京，中间要经过其他集团军的防守区域，他认为很不安全。于是选了一条从天津乘船绕道上海，再往南京的路线。从天津出发时，包了一艘载重二千吨的新华轮。而这艘船返回上海时，意外触礁沉没。因此，十分谨慎小心的阎锡山在从南京返回天津时，曾为如何上路而大伤脑筋。最后想了个办法，是同时包用两艘船，一艘自乘，一艘随行，万一发生事故，可以马上救援。
军队编遣，涉及到各地方势力的生存，矛盾尖锐，冲突激烈自是必然。蒋介石为避免各家都把矛头对准自己，采取了利用矛盾，分化瓦解，挑拨离间，“以派制派”的策略。他先是让冯玉祥提出一个方案，冯的方案使一、二集团军明显比三、四集团军占上风，提出后立即遭到激烈反对。蒋又派何应钦拉拢阎锡山，授意由阎出面提出“在四个集团军之外，另加一个中央区”的方案。阎锡山的这个方案，既照顾了蒋介石的“中央”的利益，又使四个集团军形式上比较平衡，经过长时间的争吵之后，多数人倾向于阎锡山的方案。开会期间，蒋介石多次请阎锡山吃饭，而且常常是俩人密谈，话语间透露出对冯玉祥的不满来，善观风头的阎锡山自然心知肚明。他对蒋介石毕恭毕敬，表现得异常恭顺和小心。
会议决定成立全国编遣委员会，并制定了《国军编遣委员会进行程序大纲》，规定全国军队一切权力收归中央，各集团军无权自行调动和任免军官。这样一来，各地方实力派军权丧失，完全成为一个空架子。于是，各派首领如梦初醒，哪还有心思争吵下去，转而相互勾结起来，共同抵制编遣会议。见各地方实力派团结一致，蒋介石也没有更好的办法，只好同意暂不编遣，恼悻悻地宣布休会。
编遣会议激化了各派势力与蒋的“中央”势力的矛盾，成为引起新的一场军阀混战的导火索。同时，也使蒋介石看清了软的一手不能解决问题，下决心武力统一。由于在编遣会上，李宗仁反对最为激烈，言辞尖锐，直指蒋介石，蒋便首先将矛头指向相对弱势且内部不团结、不统一的桂系，以桂系随意免去湖南省主席之职为借口，集中兵力，进行讨伐。
1929年2月，蒋桂战争首先爆发。
桂系在发动反蒋前夕，曾分别派出代表到山西和河南，约阎、冯共同起事。冯玉祥对蒋介石早有一肚子不满，爽快答应一定出兵。阎锡山则采用老办法，哼哈应付，准备见机行事。战事一起，阎锡山盘算桂系胜利无望，便立即通电表示拥蒋。冯玉祥见状，也只得按兵不动。桂系孤军迎战，内部倒戈事件频发，外部又没有呼应配合，在蒋系的强大攻势面前迅速崩溃，到6月，几乎就全军覆没，李宗仁等首领人物都逃亡在外，蒋桂战争以桂系彻底失败告终。
对桂系战争的胜利，大大坚定了蒋介石采取强力消灭异己，解决地方实力派的信心，把下一个打击目标对准了冯玉祥。蒋介石先是散布冯勾结苏俄的许多谣言，于1929年5月7日，发出讨冯总动员令，声称“欲消弥内乱，非铲除军阀不可，欲铲除军阀，非根本扑灭封建地盘思想不可”，并用重金收买了冯的两位心腹大将。5月22、23日，韩复榘和石友三先后迅速通电脱离冯玉祥，拥戴蒋介石。战事未开而后院起火，冯玉祥受到沉重打击，一时无法举措。阎锡山从太原给冯玉祥发了封电报，劝冯出洋避避风头，同时表示自己愿意陪同出国。冯玉祥接到这个电报，见阎锡山在此困难关头肯于拉一把，因而对阎锡山颇为感激，随即于5月27日发表下野通电。他声称放弃军权，愿意出国考察，使蒋介石失去了对西北军使用武力的借口。
冯玉祥曾经与阎锡山联络过，请他起兵共同倒蒋。阎也十分清楚地看出，随着权势的增长，蒋介石决不会容忍地方实力派的存在，倒蒋同样是他的希望。但阎比其他人更有城府的地方，就在于他不轻易言战，不仓皇表态，而且在时机不成熟的时候，也更善于韬光养晦。从南京参加编遣会回到山西后，他立即将第三集团军司令部的牌子更换成“第三集团军结束办事处”，自己离开军队，回到五台河边村“闲居”。以这样的行动，向蒋介石表示：我阎锡山拥护中央，听候编遣，没有二心。以此换取蒋的好感，避免成为攻击目标。他一面应付编遣，一面与其他地方势力联络周旋，更重要的，他利用这个宝贵的时机，再次大力进行扩军。将晋绥军的步兵由原来的8个军扩充到10个，另外编成4个保安纵队，骑兵和炮兵也大大加强，使兵力增加到了20万人。
阎锡山在大力扩军，不断增强自己实力的同时，也不断地分析着形势，寻找自己可以利用的机会。他明白，面对蒋介石对冯玉祥步步紧逼的算计，如果一直沉默着“中立”下去，冯玉祥被灭，自己就会陷入孤立无援的境地，成为蒋介石可轻易解决的下一个目标。支持冯玉祥出国，是一注不露声色的巧妙筹码。在冯玉祥那里，会感到是与他站在一起，是对他的支持；在蒋介石那里，会感受到是冯、阎二人联手作乱；在阎自己这里，则是可以见机行事，左右逢源，进退有利的把戏：如果蒋介石还继续压他，他就真的联合冯玉祥反抗，如果蒋介石改变对他的态度，他就把冯玉祥作为礼物献出去。挟冯自重，身价自是大增。而为了击败冯玉祥，蒋介石一面竭力收买冯玉祥的部将，一面离间阎冯的关系。蒋介石致电阎锡山，委任其为北路军总司令，要求阎锡山帮助他进攻西北军，迫使冯玉祥出洋。阎锡山抓住这个时机，开始玩弄抬高身价的把戏。冯玉祥下野的通电发布后，阎锡山就公开表示：如果冯玉祥离国出洋，自己将与冯结伴而行。在给冯玉祥的电报中说：“我们将携手共同周游世界。”并邀请冯玉祥到山西面谈。冯玉祥于1929年6月21日，携妻女到了山西。阎锡山热情接待，举行隆重的欢迎仪式，并特地安排住在太原附近的名胜晋祠。除了派出专人陪同冯大帅游览散心之外，自己也隔三差五便亲自探望，送上一份份厚礼。同时还煞有介事地派人赴天津预定船票，认真准备出国的服装用具，并且给中央发电，要求撤销有关革除冯玉祥职务、开除党籍、下令查办的处分，表现出与冯同心不二的坚定姿态。这副慷慨激昂，患难与共的架势，使冯玉祥十分感动。
阎的这场表演，让蒋介石十分着急。他当然不能允许这两股势力联合起来对付自己，因此，亲自赶到北平，派孔祥熙等人执亲笔信请阎赴北平商谈处理西北善后事宜。还由中央常委和五院长分别致函，劝阎锡山不要出洋。为此，6月28日的《国民日报》还专门发了社论，称西北大事待阎商办，阎应以党国为重，不宜外出云云。阎锡山是否能否出洋，一时居然成为舆论关注的焦点。阎锡山看到自己的身价高涨，就将冯玉祥当作有效筹码，拉下脸来与蒋介石讨价还价。况且，北平是在晋绥军的控制之下，料定蒋无法对自己用强。因此，商谈中他态度强硬，一再表示必须和冯玉祥同时出洋。在看到蒋介石没有让步的迹象时，又借口有病，住进了德国医院，不再露面。蒋介石只好忍让，亲自带礼物去医院看望，并且甩出一个大的诱饵：如能扣留冯玉祥，不让他离开山西，那么，冯原来所据的地盘，可归阎接管。并委任阎为西北宣慰使兼办军事善后事宜。阎锡山以要挟达到了扩大地盘、扩大权力的目的，觉得这一次交易还是合算的，就很快答应了蒋介石的要求，自己不再坚持出洋，并允诺不让冯玉祥离开山西。
阎锡山到北京与蒋介石见面，在秘密交易中获利丰厚，心里自是得意。但在公开场合还是努力掩饰，仍表现出一副要与冯共沉浮的态度。他再次通电南京政府，声称自己坚决出洋，此举是“务回征车，共济艰难”，并表示说：“冯总司令昨已来晋，锡山若不同行，在冯总司令纵能谅解，不以卖友自利见责，其部属众多，又分在远道，岂能求其共谅？”重情义，重然诺的恳切之状，足以让人感动。原来，这却是与蒋介石商量好了的一番表演，目的是在继续麻痹冯玉祥。蒋与之配合，又派人苦劝一番。于是，阎锡山就突然得病住进医院，闭门谢客。为了造成实出无奈的影响，还给驻南京的各军代表发了一封电报，装模作样地表示：“牺牲前约，自古所难。然使有裨于国家，无背于信义，山非拘泥，亦不必争此小节。特以军民危难之秋，维系之道，端在信约。一有歧异则动摇随之，此际虽欲力践前言，亦不可得。”冠冕堂皇地表白这一通之后，阎锡山就退掉了已购好的往日本的船票，不谈出洋了，也不再与冯玉祥见面。
冯玉祥已经被迁往五台建安村，住所与周围隔绝，阎派了一名师长带着卫队名为保护，实为监视。蒋、阎在北平会晤的消息传来，他既吃惊又气愤。想不到让自己如此感动的盟兄弟，竟然是个背信弃义，卖友求荣的家伙。冯提出要与阎见面，阎总是托词不见。冯被戏弄多次，忍无可忍，有一次就开着汽车冲出建安村，声言要去太原。卫队师长极力阻拦，跪在汽车前，求冯一定不要出村，否则他会被军法从事。冯大怒不予理会，汽车仍然开出村去了。卫队师长急忙用电话通知沿途驻军，在通往太原的公路上，挖了一条大沟。冯的汽车无法通过，不得已只好返回。冯玉祥被阎锡山如此对待，异常伤心和恼怒，计划化装跑回西北军所在的陕西潼关。但从五台到潼关，有千里之遥，他的出格的高大魁梧的身材，无法改装隐蔽。难以行动，只好作罢。渐渐冷静下来之后，冯玉祥自然不甘于被如此捉弄，就设法采取行动，向阎的背后插一把刀，让阎也尝尝被夹攻的滋味。三方鼎立，能用的办法，无非是拉拢其中一方，孤立另一方。冯于是授意留在陕西主持西北军的部下宋哲元，设法直接与南京方面联系。按照冯玉祥的指示，宋哲元就行动起来，派人到南京面见蒋介石，表示归附之意。蒋介石自然欢迎，立即派人到西安慰问，并将因受冯玉祥影响而被免职的西北军将领召回重用，以示笼络。鹿钟麟到南京当了军政部长，西北军也得到了蒋介石发给的给养。 这个变化，使沉浸于得意中的阎锡山有点始料不及。他在冯玉祥身上下那么大的功夫，目的就是为了要挟蒋介石，抬高自己的身价。现在，西北军如果倒向蒋的一边，那两家又会结成联盟，反过来对付自己。孤立的山西，受到蒋、冯的联合进攻，势必会遭灭顶之灾。这样的情况下，软禁冯玉祥还有什么用处？
这时，蒋介石又在南京主持召开第二次编遣会议。阎锡山派出代表参加。会上，蒋介石的口气比第一次编遣会时大有不同。有了打败桂系和冯系的本钱，蒋的“中央”比以前威风多了。会上，他严厉地宣称，谁不裁兵，谁就是新军阀，就是反革命，就是历史罪人，就一定要被歼灭。矛头已经隐隐指向阎锡山，而且那口气丝毫没有商量讨论的余地。阎锡山接到报告，内心惊慌起来，经过苦心盘算，还想投石问路，试探一下蒋对自己究竟是什么态度。于是，他向蒋提出辞去山西省主席一职。如果蒋对自己旧情未断，网开一面，一定会予以挽留，那时再设法继续周旋。岂料想，蒋迅速批准了他的辞呈，并任命商震为山西省主席。阎锡山头上挨了这沉重的一棒，明白自己在蒋的心目中，价码已经大跌，被攻的日子已经为期不远。大难在前，身后无路，只能厚着脸皮，再去拉拢冯玉祥了。
这年中秋节晚上，阎锡山利用节日拜访的机会，带着大批礼品看望已经遭他冷落多时的冯玉祥。冯玉祥接到通报，冷笑几声，并不去起身迎接。阎锡山见到冯玉祥，立即脸上堆笑，口口声声称呼“大哥”，表白“小弟向大哥请罪来了！”若有其事地诉说，他之所以冷落大哥，实在也是迫不得已。不用这种办法迷惑南京，自己的日子真是不好过。想不到这样一来，让大哥生了怀疑，在外人眼里他也成了忘恩负义的小人。说到为难伤心之处，阎锡山声泪俱下。末了坚决地表示：只要大哥肯原谅，愿追随大哥反蒋到底，决无二心！冯玉祥见达到了拆散蒋、阎联合的目的，也就顺水推舟，表示不计前嫌，从此合力反蒋吧。俩人在凉亭就坐，边饮酒赏月，边进行谋划，商定：冯仍留在山西，遥控西北军先发动反蒋战争，阎起而响应。
冯玉祥以为经历了这次教训，阎锡山再耍滑头无疑于自打嘴巴，于是就迅速作好了部署。中秋节后不几天，10月10日，西北军宋哲元等二十多名将领联名发表通电，表示拥戴冯、阎，讨伐蒋介石，并且列举蒋介石的罪状，宣称：蒋氏不去，中国必亡；为国杀贼，万死不恤。西北军兵分三路，向驻在河南的蒋军发动大规模攻势。蒋介石也不示弱，亲任总指挥，部署精兵全力讨伐。双方激战一个多月，互有进退，一时未能分出胜负。
关键时刻，阎锡山不仅自食其言，不出一兵一卒，当起了旁观者；而且还利用蒋介石受到压力的时机，与蒋暗中往来，继续抬高自己身价，接受蒋的笼络。蒋介石对阎举荐到南京政府去的人员，均给予重要职位，将原内政部长赵戴文提升为监察院长，后来又给了阎锡山陆海空军副总司令的头衔。阎锡山权衡之下，感到还是倒向蒋介石的“中央”更有利可图，于是将在冯玉祥面前慷慨激昂的表演又抛到脑后，急匆匆宣誓就任南京政府任命的陆、海、空军副总司令的职务，高兴地登上一人之下的第二把交椅，并于11月上旬在北平、太原等地召开“讨逆大会”，表示山西完全拥护中央。信誓旦旦的同盟军一下子变成了讨伐军，这无疑于在西北军面前和背后各插下一把刀。西北军孤立无援，军心不稳，难以抵御蒋军的攻势，只得于11月22日回撤到陕西，这场历时四十余天的反蒋战争以失败告终。
与西北军反蒋几乎同时，1929年10月，北伐战争时曾任国民革命军第八军军长兼前敌总指挥的唐生智，因属于所谓“杂牌军”长期受蒋介石的排斥和算计，决意反蒋。特别是在“蒋桂战争”中，蒋介石为了利用唐生智，曾许诺驱走桂系后将湖南归其管辖。但战争结束后，却自食其言，再也不提。唐生智此时与刚回国的汪精卫联合，接受了改组派总部委任的“护党救国军”第四路军总指挥头衔，发动了反蒋战争。起事之前，也与阎锡山达成了反蒋协议：由山西提供大洋50万元作为唐的军费；反蒋通电由阎锡山方面拟定，由唐生智在郑州发出通电，山西立即响应；反蒋军以阎锡山为总司令，唐生智任副总司令。12月初，唐生智便联络杂牌军将领七十余人，在郑州发表讨蒋通电，宣布自己为“护党救国军”总司令，将阎锡山任为副总司令。在蒋、冯对峙的紧张局势尚未完全消失的情况下，蒋军内部又冒出了发难的势力，一时间造成蒋系内部的很大混乱。当时，各方普遍的看法是，蒋介石面对冯玉祥挥舞的大刀，背后又伸出了唐生智一刀，如果再加上阎锡山从旁边砍来的一刀，他再大的能耐也难以应对，当下就会陷入孤立，恐怕只有宣布下野一条路可走。如果真要打倒蒋介石，此时应当说是最好的机遇。
然而，阎锡山支持唐生智，本是实现自己野心的一步。占据华北之后，力量日益壮大，眼见得在国家这个大舞台上显现出了越来越重的份量。加上明里暗里反蒋的各派势力都围着他打转转，阎锡山的政治野心膨胀起来，将蒋“取而代之”的想法也就提上日程。因此，他对于在反蒋战争中的名号非常重视。他看到唐生智发的通电，打的是“拥汪反蒋”的旗号，居然只给自己挂了个副总司令的头衔，觉得受到了屈辱。自己为主，功和利都在自己，自己为副，就是给别人卖命，等于吃了大亏。于是便拍案大骂，以唐生智没有按协议等山西拟出通电，便自作主张，实属背信弃义为名，不响应唐的通电。而这时，惶惶不安中的蒋介石，也加紧对阎的拉拢，极力做出亲近的姿态，发来电报说：“弟德薄能鲜，致有今日，不知吾兄何以教我。”同时，派时在南京任职的阎的亲信赵戴文回山西做说客，劝阎拥蒋反唐。阎锡山经过盘算，认为实现取代蒋介石的大目标时机尚不成熟，不妨利用对唐生智反戈一击的手段再捞一把。只要有利于壮大晋绥的实力，怎么干都成。于是便复电蒋介石，表示拥护中央，以戡乱自任。蒋介石大喜，立即委任阎为讨唐总司令，统率山西军队，出兵河南，对唐生智发起进攻。但晋绥军集结郑州之后，阎锡山为了保存实力，又令军队暂不出动，观望形势；到唐生智节节败退，胜败已成定局的时候，阎锡山才于1930年元旦，在太原召开隆重的誓师大会，当晚就率亲信乘专车开赴郑州，做出一副亲自督战的姿态。
反复无常本来是乱世军阀的本性，而阎锡山的这一番表演实在也显示了过份的精明。阎锡山为了显示自己讨逆的气派和决心，亲自带兵赴豫，身着戎装，腰挂指挥刀，一副精神抖擞且气势逼人的模样。到郑州后，阎锡山以陆海空军副总司令的名义，召开军事会议，调兵遣将，唐生智见败势已定，通电下野，出洋考察。晋绥军兵不血刃，取得大胜。阎锡山自以为这一次救了蒋介石，立下大功，从蒋那里会得到一些好处，在各地方势力面前，地位也会进一步升高。而同时，亲赴前线，并不完全是装样子给别人看，还有着不可言说的精明算计。他的目标是趁讨唐之机，把势力扩张到河南，不仅扩大了自己的地盘，而且控制中原就控制住了东西南北的交汇点，有了向东南发展的跳板。
阎锡山的算计不能说不精明，可惜还是逃不出蒋介石的手心。就在讨唐战事即将结束的时候，蒋介石从暂时的惊慌中回过神来，便决定把这位善于变脸的盟友作为心腹大患予以铲除，策划由韩复榘在郑州秘密活捉阎锡山。阎向来小心多疑，行事谨慎，非常注意收集和窃取情报，而且他的情报人员还比较得力。蒋、韩暗害他的计划，被山西的情报人员窃听，他很快就知道了。如意算盘又化作一缕轻烟，阎锡山惊诧之余，只好赶紧逃命。他赶快部署部队严密守护郑州黄河铁桥，不敢让断了归路，自己再一次乔装打扮，连夜逃离郑州。路过新乡时，他在对这次图谋遭遇挫折感到失望的同时，也萌生起给对方一个讥讽的想法。于是有意给韩复榘发了个电报，宣称：因太原人心浮动，弟须立即返回坐镇，不辞而别，后会有期。逃离险境而不忘给对手一记辛辣的讽刺，也算是阎锡山大难不死后的得意之作。自然，这封电报让蒋介石气恨恨地难过了几天。
面对阎锡山的这场变脸表演，最生气最愤怒的还是冯玉祥。冯玉祥再次受了欺骗作弄，怒发冲冠，实在难以咽下这口气，悲愤交加，绝食抗议。在朋友劝导下渐渐平静之后，也想出了对阎锡山进行报复的办法。他亲笔在一本《三国演义》上给鹿钟麟、宋哲元等部下用米汤密写了一封信，信中说：“你们一定要设法对付阎，能够联合韩复榘、石友三一同动作更好，千万勿以我为念。而且只有你们这样做，我才能够有办法。”西北军将领对阎锡山不守信用、出尔反尔的行为异常愤慨，对他只顾自己、卖友求荣的做法更是恨之入骨，接到冯玉祥的指示后，就积极地再次与南京政府联系，并且做了攻击阎锡山的部署。蒋介石顺利地收拾了唐生智，乐于接受西北军的又一次改弦更张，也就顺理成章地把主要矛头指向了阎锡山。其实蒋谋阎之策早在实行。1929年11月，宋子文到北平，将北平的国家税与地方税划分，国家税归财政部收取。阎锡山只好放开税收大权，同时就提出：平津部队的饷项此后由财政部拨发。宋子文满口答应。但实行一个月之后，就没了下文。阎锡山气愤不已，又提出北伐时山西曾垫付军费3000万，因此申请发行公债以资弥补，蒋介石明确表示“不准”。阎锡山气愤之余，指桑骂槐大骂宋子文“想用经济手段把咱困死”。同时就激昂慷慨地表示：中国人我最怕的是袁世凯，他把辛亥革命的都督，不是杀了，就是赶走，可我能把袁世凯应付过去。现在蒋介石又想压到我头上了。言下之意，他不吃这一套。
蒋针对刚刚就任陆海空军副总司令的阎锡山，发表讲话说“在中央有职务者不得兼任省职。国府委员应驻京，无公事不得离职”，企图用高压迫使阎离开山西。调虎离山，尔后铲除。一边就支援西北军大批军火粮饷，令他们做好进攻山西的准备。
阎锡山得知这一消息后，真正感到自己翻手为云，覆手为雨地折腾多次，现在终于被逼进了墙角。利用冯玉祥反蒋，利用唐生智反蒋，再在蒋面前装好人，谋划着是要得渔翁之利。想不到最终落得被蒋、冯夹攻。在山西内部，反蒋和拥蒋两派意见也争论不休，相持不下。以贾景德、赵丕廉为首的反蒋派与以梁航标为首的拥蒋派，各陈利词，常常让阎锡山莫衷一是。阎锡山烦燥不已，便将左右打发出去，在屋子里独自静坐，打卦占卜，向苍天问询何是祸福。恰好，被能在他身旁行走的交际处处长、行宫办事处处长梁航标撞见，梁趁机说了一通拥蒋的好处，阎锡山思忖良久，突然问：“交出军权后，蒋能容我吗？”说明阎锡山对于自己与蒋的恩怨有着清楚的认识。蒋不可能容许别人有割据的实力，而没有了实力，任何人都难逃被戏弄、受屈辱、甚至被消灭的下场。在军阀的心目中，权力，地盘，都是高于生命的东西。自动交出权力和地盘，无疑于寻求自杀。阎锡山手中还有强大的军队，放眼全国，还有那么多可利用、可结交的同盟军，未到穷途，何必走末路？他当然不会选择向蒋低头的出路。当时，徐永昌也认为这个仗打不得，私下里对人说：“不打仗，人们都来捧阎，他是爷爷；打起来了，一定都向他要东西，他又吝啬，哪能满足这些人的要求？不满足，就恨他，他就变成孙子了。”在阎召开的会上，徐永昌也把这意见委婉地讲了，阎锡山说：“说得也对。但蒋逼得咱们没办法呀。”徐于是说：“可以另想不打仗的办法。”阎锡山诡秘地笑了笑，说：“我倒有个不打仗的办法，就是我出洋。”徐忙说：“那不行，你走了我们怎么办？”阎锡山慢条斯理地说：“你们可先对付。实在没办法，你们就投降他吧。”徐闻言变色，忙表示：“你说打，咱就打吧，把我的话取消，取消。”可见，在阎的内心深处，对投降蒋介石是十分忌讳和仇恨的。他曾在蒋面前一再装出驯顺的样子，那都是另有所图。而事到如今，再善变的嘴脸也失去了哄骗的作用，再精明的算计也没有了回旋的余地，为了自己的存在，为了保住山西这块根据地，他只能咬紧牙关，再次联冯，走上反蒋之路。
经过反复盘算，阎锡山终于定下了主意，第一件事，就是厚起脸皮，亲往冯玉祥处负荆请罪。面对恼怒不已的冯玉祥，他做出后悔莫及的姿态，痛哭流涕地表示：“大哥来山西后，自己有二件对不起大哥的事。一是大哥通电反蒋，山西没有马上出兵，使大哥受了不少委屈；二是宋哲元出兵讨蒋，山西没有响应，使西北军兄弟受到损失。如今，小弟才真正明白，只有反蒋到底，才有一线生路。请大哥速回潼关，发动军队。这一次，小弟一定同生死，共患难。从今以后，晋军吃什么，穿什么，用什么，大哥的军队也吃什么，穿什么，用什么，一律待遇，决不岐视。此心耿耿，唯天可表。如果大哥仍不原谅，小弟只有在大哥面前自裁，以明心迹。”
冯玉祥看着他半真半假的表演，心里自是厌恶，他当面批评阎奉行的是“骑墙政策”，并提出忠告说：“毒蛇螫手，壮士断腕，当断不断，反受其乱。”但返回来一想，无论如何，当前蒋才是西北军的头号敌手。要反蒋，还是得联阎。再者，阎反复无常的表演现在已经陷于绝地，再精明再狡猾，谅他这次也无法骑墙变脸，再也难以使出骗人的花招来。于是，冯也就假戏真做，大度地表示只要能齐心协力共同倒蒋，过去的事就不再提了。
为形势所迫，阎锡山终于走上坚决反蒋的道路。
阎锡山在1930年2月下了倒蒋的决心
阎锡山比其他军阀高明一筹。决定反蒋之后，他不仅大力进行军事上的筹划和准备，而且也十分重视在政治上取得资本和主动。军事上得到冯玉祥的支持并加紧与各派军阀勾结，政治上则设法联络在国民党内有影响的人物汪精卫。孙中山先生逝世之后，汪精卫和蒋介石几次分分合合，核心在于争权夺利。汪在国民党内资历很高，但他手中没有军队；蒋从办军校、建军队起家，手中有了别人指挥不动的枪杆子，为所欲为，独裁专横，不可一世；汪以坚持孙中山先生“联俄联共扶助工农”三大政策的传人自居，不肯屈居附庸。早在1928年，以汪精卫为领袖的“中国国民党改组同志会”就已成立，改组派由此得名。而在国民党的“三大”上，改组派的主要人物，或被开除，或被警告，完全成为蒋介石的公开对立面。改组派以“反对恶化腐化势力，唤醒并组织社会上一切民主势力，实现国家外交、军事、财政、政治各方面的统一，打破割据局面”为政治口号，汪精卫也以“护党救国”的精神领袖的身份与蒋对抗。此时，汪精卫携同几个与他亲近的中央委员，正蛰居在广州、香港，待机而动。阎锡山想把党的旗帜也抓到自己手里，以扩大影响和号召力，就积极与汪精卫联络，共同反蒋。而以戴季陶为首，早在1925年就以反对联俄联共为口号的组成的国民党老右派“西山会议派”也不断策动反蒋，自然对阎锡山也吹捧有加。此时，国民党内的左、右两派就都聚集到了阎锡山周围。可谓实现了反蒋力量的大联合。为了搜罗和联络更多的反蒋力量，阎还委派原山西省党部委员李冠洋到北平组织所谓“新民读书会”，用以联络散在各地的受蒋排挤和有反蒋情绪的国民党党内同仁。
“新民读书会”在北平活动了三个多月，联络到三十多名反蒋同仁，其影响甚至远及日本。在日本的反蒋人物也远道回国，前来参加。经过“学习讨论”，在阎的指导和操纵下，读书会总结出两项结论：一是认为中国不存在阶级，只有大贫和小贫。肯定孙中山先生的理论。阶级斗争学说，不适合于中国革命；二是认为国民党的基础，是全体劳动人民。脑力劳动者和体力劳动者，在推动历史前进上有同等的重要性，而没有差别，两者是相辅而行的。政治属于全民性的，是孙中山先生所说的“管理众人的事”。依据这个结论，国民党应为代表全体劳动人民的利益而奋斗。阎锡山对此大加赞赏，并以此为“理论”，倡议组织“劳动国民党”，为自己在政治上另立山头准备条件。
