阎锡山感到这是抬高自己身价的好机会，立即将此消息报告南京，并授意太原各报刊登消息，大肆渲染“张、杨代表到并，蒋安全无恙，以安定全国人心”，突出阎锡山出面调停且受到张、杨重视的形象。阎锡山在与张、杨代表的会谈中，也就摆出了高高在上的架势，提出解决事变的所谓四大原则：爱护国家，爱护领袖，爱护副司令（指张学良），爱护东北军。并提出了一系列条件，作为山西派出代表赴西安的前提。阎锡山满以为，蒋介石需要他出面保护，张学良也需要他出面安抚，国民党内的各派系都需要通过他进行协调，这一次可以大出风头，捞到一大笔政治资本。但他的算盘落空了。此时，以周恩来为团长的中共代表团已经到达西安，经过中共代表团的耐心工作，张、杨已同意和平解决。张学良对阎锡山的表演异常窝火，决定把阎甩开。他对准备往太原接阎锡山代表的人说：“我决不让老阎做这一标买卖。”阎锡山还筹划着如何在周旋中获取利益的时候，却得到蒋介石已经返回南京的消息。开始，他将信将疑，在办公室内独自踱来踱去来回转圈儿；到确证这是事实后，他一屁股跌坐在沙发上，半晌说不出话来。
西安事变虽然没让阎锡山借机捞到资本，但这件事却推动了他与共产党联合抗日的步伐。到12月下旬，中共与晋绥在共同抗日的大原则上达成了共识，双方建立起了通信站，晋绥军解除了对陕甘宁边区的经济封锁，黄河两岸开始有了商业往来。中共利用牺盟会广泛开展的培训活动得到了支持，阎锡山本人也提出“宣传民众，组织民众，训练民众，武装民众”的口号，进行全民总动员。使山西全省进入抗战动员的准备阶段。1937年2月，双方又正式建立电台联系。七七事变后，7月15日，蒋介石宣布对日抗战，称：“地无分南北，人无分老幼，无论何人均有守土抗战之责任”，并承认了中共领导下的陕甘宁边区。不久后，阎锡山向中共代表正式表示：从今后可以用红军和中共中央代表的名义，在山西公开进行活动。之后，八路军驻太原办事处也正式成立，中国共产党和阎锡山的抗日统一战线建立起来了。
1937年七七事变后，蒋介石加强了军事部署，把全国分为五大战区，阎锡山被任命为第二战区司令长官，负责指挥山西、绥远和察哈尔的部队。由红军改编的第八路军，也归第二战区，朱德总司令兼第二战区副司令长官。山西为华北要塞，日本人也明白，“要完成军事上占领华北，非攻占山西不可”。山西势必成为日军在华作战的重点目标，阎锡山感受到了面临的巨大压力。他的一首诗，就表达了这种心境：
年来忍痛复吞酸，国难何容学挂冠。千言万语说不尽，多少心事留舌端。
面对国难当头，此时的阎锡山尽管有多少心事难以诉说，还是表现出了应有的爱国情操。他由“守土抗战”进而提出了“民族革命战争”的口号。他认为：“我们这次对日抗战，不是国与国的战争，也不是民族与民族的战争，而是民族革命的战争。民族革命战争是政治性的全面全民抗战。在此生死关头，惟有发动民族革命战争，举我全力作最后之一拼。”由此出发，他主张，非常时期采取非常政策。当务之急当然是扩充军队。趁此机会，共产党领导下的牺盟会提出了组织新军的建议，阎锡山表示同意。于是，1937年8日，牺盟会组建起了山西青年抗日决死总队。随后又以第二战区司令长官的名义发布命令，由共产党人薄一波全权负责，组建起了一、二、三、四共4个纵队。决死纵队作为新军，实行政治委员制度，政治委员拥有最高的政治和军事权力，有绝对的领导权。而政治委员多由共产党人担任，阎锡山只有一个条件，要求纵队的政治委员必须是山西籍人士。阎锡山能够容忍新军实行政治委员制，在当时，这也是他走出的一步大胆的棋。此事如果放在蒋介石那里，是绝对行不通的。这反映了阎锡山为了联共抗日，在政治上更为开明的一面；同时也表现出他对自己能够控制新军，能够用地域乡情笼络决死纵队的上层，有着盲目的自信。还有一点，就是显示出他对共产党善于发动和组织群众，并能迅速取得群众拥护支持的特点和能力，估计不足。因此，在逼人的大形势下，他在自己的算盘上，是将新军当作“他人出力，为我所用”的重要筹码的。这四个纵队的山西新军，都有国民政府军事委员会给予的正式番号，依次为国民革命军独立第一旅、第二旅、第三旅、第四旅和第207旅。
阎锡山还同意中共代表周恩来提出的“保卫山西，必须动员广大群众，开展抗日群众运动”的建议，决定在沦陷区成立战地总动员委员会，简称“战委会”。战委会成立后，在敌占区开展活动，配合军队作战。战委会组建起一支武装力量，包括8个支队，15000余人，成为在共产党领导下群众抗战的重要武装。
平津失陷后，华北日军兵分三路：一路沿平汉路南犯，进窥河南；一路沿津浦路南下，进犯山东；一路则沿平绥路西犯，进犯晋、察、绥，并把战略进攻的重点指向山西。山西地处黄土高原东部，太行、吕梁、恒山、中条四山环绕周围，地势险要，易守难攻，素有“华北之锁钥”之称，是华北天然堡垒。中国军队若能固守山西要地即可对侵入华北平原之敌侧背造成严重威胁。日军为确保对平津地区的占领，解除侧背之忧，图谋进一步南侵，也力求控制山西。在这两军必争之地，一场麈战势在必然。
8月下旬，日军在攻占南口和张家口之后，继续西进，山西东北部就完全暴露在日军的面前，日军乘势直逼山西，山西的形势一下子紧张起来。阎锡山预计日军必然进攻大同，就准备实施“大同会战”的计划。他亲临前线，把行营设在了雁门关下的太和岭口，声言要在此与日军决一死战，把侵入晋绥的日军歼灭于大同一带。对这个计划，蒋介石是赞赏的，阎要钱要枪，都给予大力支持。9月初，日军沿平绥路扑向雁北重镇天镇。晋绥军经过顽强抵抗，天镇失守。而日军占领天镇之后，并不向大同方向开进，却直向平型关一带逼来。如果日军攻占了平型关，就等于是从背后插进了山西。阎锡山的战略判断发生了错误，不得不忍痛放弃大同会战计划，将兵力重新部署到平型关南北，准备在平型关与日军会战。这时，八路军的高级干部周恩来、彭德怀、彭学枫等前去与阎会晤。周恩来根据当时的形势，反复向阎说明，目前虽然是敌强我弱，但我们只要动员全民，团结奋斗，就可以不断削弱敌人力量，增强我们的力量，坚持下去，一定能够打败日冠，鼓励他克服困难，坚持抗战。阎锡山看到共产党对抗战的确是一片赤诚，也从内心感到佩服。他特意约周恩来每天早晨一起办公，并通令军队学习八路军的做法。
在共产党的推动下，阎锡山抗战的情绪逐步高昂起来，他制定了平型关会战的计划：诱敌深入，然后发动攻击，并截断日军退路，称作“布袋阵”战法。但9月24日，敌人进攻平型关的战斗打响之后，受攻最烈的高桂滋部为保存实力，擅自放弃阵地，被日军占领有利据点，反而对晋绥军郭宗汾部形成包围之势。幸好配合作战的八路军115师主力已经设伏于平型关地带，于9月25日伏击了向平型关前进的日军板垣师团一部，歼灭敌军1000余人，使原先趾高气扬的日军顿时陷入一片混乱，才给郭宗汾部解了围。平型关大捷是抗日以来全国的第一个大胜仗，打破了“皇军”不可战胜的神话，增强了全国人民抗战的信心。在此形势下，阎锡山放弃了原先把敌人放进关内再打的方针，集中兵力进击平型关外，想要歼灭板垣师团。但已占领大同的日军，向南进攻，并又占领了繁峙县城，就对平型关战场形成了侧后的威胁。经过在高级将领会议上激烈的争论，阎锡山害怕五台山的退路被切断，最后决定全线后撤，将主力配置于太原以北一百公里的忻口一线，准备保卫太原。
忻口位于崞县和忻县之间，是云中山和五台山两山峡谷中的一个隘口，公路和同蒲铁路都从此通过，自古以来就是晋北通往太原途中的战略要地，日军进犯太原，这是必经之路。阎锡山早几年就在这里修筑了大量工事，将它作为关系太原安危的咽喉要道。由于八路军在五台山一带牵制着日军，使得晋绥军和随后赶到的中央军能如期完成了战斗部署。
日军如果攻下太原，就将沿山西南下跨黄河直指武汉。蒋介石此时也意识到在山西作战对全国形势的重大影响，于是急令卫立煌的第14集团军从石家庄迅速开赴山西，参加晋北战役。10月10日，忻口会战正式打响。日军主力是板垣师团，计5万余人；晋绥军和中央军的总兵力则有8个军16个师，近10万人。东西50里长的战线上，双方展开了大规模的攻防战。在忻口正面，争夺阵地的战斗异常激烈，守军用太原兵工厂供给的八万多发炮弹向敌人猛烈轰击，发挥了极大的威力。日军在飞机、坦克和猛烈炮火的掩护下，以整营整连的兵力反复向前沿阵地发起进攻。守军阵地则手榴弹齐发，各种枪支集中射击，直至冲出战壕进行白刃战，一次次将敌人击退。守军的英勇战斗，大大鼓舞了民众的抗敌热情，成百上千的老百姓自动支援前线，冒着炮火抬伤员，送给养，挖战壕，军民同仇敌忾，使敌军难以前进一步。激烈的战斗持续多日，中国军队寸土不让，阵地常常是得而复失，又失而复得，每一次剧烈的拉锯战，都有很大伤亡。上将军长郝梦龄在火线指挥，被敌炮弹击中阵亡。从他于忻口会战前一天写给爱妻的信中，我们感受到了爱国军人可歌可泣，视死如归的伟大气慨。信中说：“余自武汉出发之时，留有遗嘱与诸子女等。此次抗战乃民族国家生存之最后关头。抱定牺牲决心，不能成功即成仁，为争取最后胜利，使中华民族永存世界上，故成功不必在我，我先牺牲。我即牺牲后，只要国家存在，诸子女教育当然不成问题。别无所念……倘吾牺牲后，望汝好好孝顺吾老母及教育子女，对于兄弟姐妹等亦要照拂。故余牺牲亦有荣，为军人者为国家战亡，死可谓得其所矣！书与纫秋贤内助，拙夫龄字。双十节于忻口。” 毛泽东同志在延安追悼抗敌阵亡将土大会上称赞郝梦龄等是中国人民“崇高伟大的模范”，证明“中华民族决不是一群绵羊，而是富于民族自尊心与人类正义心的伟大民族”。
成千上万的战士，在肉搏战中，在敌人的猛烈炮火下壮烈牺牲。战争最激烈的时候，有一天从拂晓至黄昏，在正面约三里宽的名为南怀化的阵地争夺战中，敌我易手达13次之多，先后牺牲了十个团，自团长到炊事员，非亡即伤，无一幸免。这就意味着一小时牺牲一个团，鲜血染红了阵地，无数英雄男儿表现出了为国为民视死如归的气慨。在中国守军的顽强抗击面前，日军蒙受重创，一筹莫展。日军又从京津守备队调兵力增援，但在中国军队的顽强抗击下，也难以前进，虽三易其指挥官，也无法挽回危局，双方形成对峙之势。八路军则奉命在敌后展开游击战。袭击日军的交通运输线和后方目标。八路军129师成功袭击了日军在代县的阳明堡机场，烧毁敌机20余架，极大地鼓舞了前线战士的斗志，有力地配合了正面战场。八路军的游击战和运动战，极大地威胁着敌人的侧后，迫使敌人不得不放弃正面进攻忻口的计划，改由从正太路西进，攻打娘子关。日军沿河北南下的部队在占领石家庄和邯郸后，就集中平汉线上的全部兵力攻向娘子关。娘子关不幸被日军攻下，日军从东面向太原逼近，忻口守军陷入背腹受敌的困境之中。阎锡山和卫立煌决定放弃忻口，退守太原。11月2日，各路军队陆续南撤，转入太原附近的阵地。
持续了二十多天的忻口战役，我方伤亡5万余人，消灭敌人2万余人，是抗战初期华北战场上规模最大、战况最烈的一次战役。中国军队，包括中央军、晋绥军和共产党领导下的八路军，在战斗中团结一致，相互配合，不怕牺牲，英勇抗击日冠的精神，对全国人民的抗战热情起到了极大的鼓舞作用。但这次战役，忽视了敌强我弱的基本特点，未能以运动战为主，辅以游击战和阵地战，灵活机动地削弱和消灭敌人的有生力量，而是以单纯的阵地战进行防御，使中国军队蒙受了不应有的巨大损失。事实充分证明，片面的军事抗战，在中国当时的条件下是行不通的。
忻口撤兵后，为了保住自己的老窝太原，阎锡山虽然作了很大努力，由于卫立煌不同意固守太原，率领中央军向南撤退，而晋绥军的王靖国部又临阵脱逃，致使太原成为一座孤城。阎锡山早早地离开太原走了，请缨守城的傅作义率6000劲旅抗击10万日军，坚守三天后撤退，太原失守。 11月，阎锡山到达晋南重镇临汾。随后，八路军驻晋办事处、十八集团军总部、中共中央北方局、中共山西省委也都陆续到来，临汾成为山西和华北的抗战中心。
1938年2月，阎锡山不甘心失去大半个山西，提出要反攻收复太原。而日军也集结了雄厚的兵力，由北向南开进，意在进犯晋南。双方几次接触，阎看到反攻的可能性不大，就将兵力转移到山区。日军在占领交通沿线的大小城市后，也就开始向山区进攻。在“川口战役”中，第19军军长王靖国仗着是阎锡山的亲信，临阵保存实力，置军令于不顾，避免与敌交锋，致使全线溃败。第二战区执法总监张培梅勃然大怒，要求以军法处置。阎锡山却不允所请。性情暴烈的张培梅，一生对阎锡山忠心不贰，眼见晋绥军一再败北，自己“杀一儆百”，严肃军纪，振奋士气的主张又不为阎锡山所采纳，因而忧愤至极，萌生自杀以警众人的念头。果真，他吞下大量大烟土，自杀于隰县午城镇。张培梅的过激行动，意在警告阎锡山需要重振军威，否则晋绥军将溃散难收。阎锡山心中明白，这位追随他多年的亲信，以死明志，难能可贵。因此，他在祭文中悲痛地表示：“你很爱国，你很壮烈，你以为晋民苦矣，国家危矣，不忍睹，不堪睹，君乃自了！……我则不作如是感。我国有二千年大一统之光荣，亦随有二千年大一统之遗毒，使维新革命均无大效。经此疯狂自损之日本军阀一打击，必能去旧鼎新，而成现代之国家。我不悲观……”从这里也可以看出，阎锡山当时的目光还是比较远大的，对抗战及抗战后的中国前途抱有信心。
抗战以来的几次战役，也使阎锡山认识到，单纯坚持阵地防御战往往被动挨打，面对日军的强大火力，损失太大。共产党、八路军采用的游击战，灵活机动，在运动中打击和消灭敌人，不断发展壮大自己，行之有效而且愈战愈强。因此，在晋绥军遭到重创，元气大伤的情况下，他不得不转而向共产党寻求支持和依靠，产生了与共产党全面合作的想法。毛泽东通过彭雪枫向阎锡山提出具体意见，指出：游击战争应处于敌人的侧翼和后方，具体到山西，则应分成晋西北、晋东北、晋东南、晋西南四个区，向进入中心城市占据交通要道的日军，采取四面包围袭击的姿态。阎锡山对毛泽东的建议表示赞赏，同意八路军分别以五台山、管涔山、太行山、吕梁山为依托，建立根据地，开展敌后游击战争。阎锡山一面整顿晋绥军，一面依靠决死纵队和八路军，与日军形成了相持的局面。在政治上也向着共产党的主张靠拢。他以第二战区司令长官的名义，公布了薄一波起草的《山西民族革命十大纲领》。纲领中提出了全民抗战，组织自卫队和游击队，开展游击战争，铲除汉奸卖国贼，执行合理负担，改善人民生活等十大任务。牺盟会以“为保卫山西血战到底”为动员口号，广泛动员和组织群众参加抗日活动。省内的抗日游击队、人民自卫队及牺盟会员、农救会员迅速增长到100余万人。决死纵队也进行了扩编，活跃在晋东南、晋西北、晋东北，与八路军建立的晋绥、晋察冀、晋冀豫抗日根据地协同配合，以山西为中心开展了艰苦卓绝的抗日救国战争。
国民政府所在地的南京于12月也沦于敌手，日军在南京制造了震惊中外的大屠杀惨案。国民政府迁往重庆，武汉成为当时的政治和军事中心。全国的抗战进入了艰难的相持阶段。阎锡山为了争取全国各界对处于抗战第一线的二战区予以政治和人力的支持，倡议在山西开办“民族革命大学”，这一倡议得到了文化界进步人士沈钧儒、潘汉年、邓初民等的响应和支持。1938年1月，设在临汾的“民族革命大学”正式开学，除本校外，另设有一个分院和四个分校，一期的学生就达5000余人。学生来自全国各地，北到长白山下，南至珠江流域，南北共有十八个省份的青年，还有归国参加抗战的南洋华侨。从政治信仰来看，有共产党员，国民党员，三青团员，也有无党无派人士和宗教人士。这些来自五湖四海的热血青年，为着抗击日寇侵略，争取民族独立、自由，聚集到了汾河之滨，当时的确是山西的一大盛事。阎锡山亲自兼任民大校长，许多著名人士和学者，如李公朴、江隆基、何思敬、陈唯实、施复亮、侯外庐、周巍峙、徐懋庸等，都到民大任教。民大讲授的课程，有阎锡山的“物产证券”、“按劳分配”，“中的哲学”等内容，也有马克思主义的唯物辩证法、社会发展史、政治经济学、社会科学概论等内容，还有抗日民族统一战线、日本帝国主义侵华史、抗日军队政治工作、群众工作等内容，呈现出抗日统一战线的鲜明历史特点，也充满抗日统一战线的深厚实践气氛。一时间，山西南部小小的临汾成为全国抗日救国运动的中心之一。
山西这种热气腾腾、蓬勃向上的抗日局面，显示出了中国人民团结救国的英雄气慨，显示了中国共产党高举着的抗日民族统一战线的强大生命力，也显示了阎锡山守土抗战、爱国联共的热情。应当说，与共产党共舞，为抗战建功立业，这是阎锡山一生中最灿烂的岁月。
追随蒋介石 限共反共屡遭挫
由其阶级立场和切身利益所决定，阎锡山在凄惶地回顾自己只剩下了两、三万人马时，他感到了一种新的危机，他的算盘也就开始了另外的算计。尽管眼下还需要八路军、决死队和牺盟会对付日本人，维持山西的大局，但考虑到八路军、决死队将来绝不可能成为自己的军队，以后要控制山西，统治山西，就不能允许这几股力量过于强大。尤其是新军决死队，这时已由原来的四个总队（相当于四个团）迅速发展成为四个纵队（相当于12个团）。名义上还是他的队伍，但却是在共产党的控制之下，与八路军关系密切。这越来越成为他最大的一块心病。
因此，1938年6月，在吉县古贤村召开秘密军事会议时，阎锡山就有感而发地向着他的部下发了一通议论说：“这次会议，是给你们开追悼会的。但是如果你们懂得了道理，也可以说是庆生会。”接着，他算了一笔账：自抗战以来，某友军人员增加了四倍，我军某军却减少了一半。按此比例，再过10个月，友军的一变成了十六，我军某军的一却变成四分之一，这就成了六十四比一的结果。一膨胀一缩小，可怕不可怕？说的明白一点，就是晋绥军抗光了，八路军不但没减少，反而增加；再加上牺盟会、决死队与共产党、八路军合作，今后还有我们晋绥军的立足之地吗？
出于私利，在阎锡山的算盘上，民族大义开始被推到了无足轻重的位置。他念念不忘的是晋绥军也就是自己的“存在”，在八路军和决死队手里的地盘，虽然是还是中国人的地盘，但不能算作自己的地盘。
接着，他又在古贤村召开了“抗敌行政工作检讨会议”。会上抛出了《抗敌行政机能十大纲领》、《抗战人员必戒二十条》、《抗战必要条件六项》等文件。特别是《抗战人员必戒二十条》，是他召开这次会议的中心内容。表面上是对所有抗战人员提出的基本要求，而实际上，是针对着革命势力，为加强对牺盟会、决死队的控制而提出的。如“军队妨碍行政者必戒”，“言论足以挑动阶级斗争者必戒”，“滥委人员，成立游击队，强迫人民供应者必戒”，“越权处罚汉奸者必戒”等等，都对积极主动抗日的牺盟会和决死队暗藏着杀机。阎锡山在讲话中，更露骨地表示，“二的利害成不了一的团结，二的认识成不了一的行为”，对于不合他的要求的势力和做法，要“恕而消之以处善，缩而灭之以惩恶”。两次古贤会议，其目的十分明显，完全是有针对性地限制和阻止共产党领导下的革命力量的发展，为从军事到政治破坏抗日救亡运动做准备。
1939年1月，国民党的五届五中全会在重庆召开。武汉失守后，日本帝国主义改变了对国民党政府以军事打击为主的方针，逐渐将其主要兵力向敌后根据地转移。与此相应，国民党也逐渐将其政策的重点，向着反共反人民蜕变。会议以“整理党务”和研究“如何与共产党作积极之斗争”为主要议题，蒋介石发表讲话，要“唤醒党魂”，确定国民党的政策重点由对外转向对内，制定了一系列“溶共”、“防共”、“限共”、“反共”的政策。这些论调和做法，反映了历史在这一阶段出现的新特点，也与阎锡山的想法一拍即合，于是，他紧紧追随蒋介石，把自己的政策也由联共转向防共、反共。而且，对于蒋介石的种种做法，他还感到不满足，他标谤说：“共产党太左，国民党太右。在土地问题上，共产党让贫农分房分地，驱赶地主扫地出门，不公道；国民党对土地这个大问题，一袭旧制，让老百姓交了粮银便了事。我主张土地公有，实现耕者有其田，不赞成搞阶级斗争。……蒋先生重视军事反共，我则重视思想防共。思想防共，才是釜底抽薪的办法。”
1939年3月，阎锡山在陕西宜川秋林镇召开了“第二战区军政民高级干部会议”，标志着从此将防共反共放在了抗日之上。
会上，阎锡山在分析形势时说：“我们现在已处于抗日的最前线，陷入日军攻击与八路军包围之中，蒋介石不足畏，毛泽东……倒是个可怕人物。现在的形势是，蒋要抛弃异己，看来是想借日军之手消灭我们。处在这样的环境里，只抗日第二，防共第一才能立足。”他认为，抗战的前途是“中日不议而和，国共不宣而战”。他提出了“抗战走上最高峰”和“无条件存在”的口号。就是说，抗战已经到顶了，今后的任务是不择手段地谋求存在，因此，“抗战只是手段，复兴才是目的”。在阎锡山这些论调的操纵下，他手下的军政要员们对牺盟会群起而攻之，各地的地主豪绅还组织代表团，向阎锡山哭诉牺盟会、决死队和各抗日团体的所谓“暴行”。会议决定，取消新军决死队的政治委员制度，文官不得兼任军职。阎锡山还声称，这是蒋委员长的命令，山西不能不执行。薄一波等针锋相对地与他们进行了斗争，但经请示上级，为了维护抗日大局，决定暂不摊牌。于是，薄一波等人的决死纵队政治委员职务被解除。阎锡山又根据所谓“五统一”的方案，统一编制、统一训练、统一指挥、统一人事、统一待遇，取消了决死队原有的番号，把新军统一到旧军之中。
秋林会议是阎锡山由联共抗日变为积极反共的转折点。
会后，阎锡山以各种借口，阻止参加会议的牺盟会和决死队领导返回原地，企图用调虎离山计分化瓦解，伺机向他们开刀。同时，就不断派遣大批所谓“联络员”、“视察员”到新军中活动，并把新军的干部抽调到秋林“受训”，进行分化瓦解的“突击”。但这些措施没有取得期望的成效，阎锡山就变本加厉，撕下伪装，公开叫嚣“要破除情面，大刀阔斧地实行突击”，“哪个部队障碍进步，阻挠革命，要不客气地铲除了他”。指示地方政府，对八路军进行经济封锁，“绝不能用咱的粮食供给别人”，恶恨恨地说“要饿死八路军，困死八路军，赶走八路军”。同时施展各种手段，向新军发难。如：策动新军中的旧军官发动叛变，杀害军中的政工干部，杀害地方政府中进步人士等。阎的亲信和智囊赵戴文在秋林会议上曾宣称，“霸道不行，就要实行恐怖”，他们对新军的仇恨已经到了必欲置之死地而后快的地步。1939年10月，在秋林又举行了“民族革命同志临时代表大会”，出席会议的三百余人，都由阎锡山亲自指派，称得上是一次核心机密会议，为进行反共做最重要的准备。会议期间，秋林的街头贴出了匿名的漫画。漫画画的是：阎锡山骑着毛驴，席尚谦在前，手拉缰绳，口吹喇叭，吹出的是“反共”二字；杨吉贞跟在后面，腰插板斧，手持手枪，板斧上写着“特务”二字。漫画入木三分地揭露出了阎锡山内心的阴谋，说明即便在他控制森严的亲信队伍中，仍然有抗日爱国的明眼人。
12月，经过充分准备的阴谋终于出笼了。此时，日军兵分三路，向决死2纵队所驻地合围进攻。阎锡山以第二战区司令长官的名义，下令对日军实行所谓“冬季攻势”，命令决死二纵队韩钧、张文昂部向同蒲路霍县至灵石段的日军发起进攻。在他们的背后，部署了晋绥军的两个军作为“总预备队”，而这个“总预备队”的真正任务却是与日军对决死二纵队形成两面夹攻之势，以便在日军未能消灭决死队时，伺机从决死队背后开刀，一举消灭。如果决死二纵队不听从命令，就给他们扣上“叛军”帽子，公开予以歼灭。这算盘也可谓精明而又不露声色。
12月5日，决死二纵队的196旅旅部遭到晋绥军的无端袭击，抗日将士们忍无可忍，被迫实行自卫，并以二纵队政治部主任韩钧的名义，向阎锡山发出电报。电报称：“伯川先生，王（靖国）、陈（长捷）两贼，欺我太甚，我不能不实行自卫，将在外君命有所不受。学生韩钧。”阎锡山接到电报，马上召集高干会议宣布了来电，并以鸡蛋里挑骨头的狡诈口吻说：“我是司令长官，他称我先生；他是我部下，而自称学生。明白表示不相隶属，韩钧反了。”于是，宣布“韩钧叛变”，任命陈长捷为“讨叛”总指挥，率兵向决死队进攻。按这个逻辑，阎锡山称蒋介石为先生，早已经是一个大叛逆。真所谓“莫须有”的罪名。阎锡山急不可耐地向抗日的决死队挥起了屠刀，这就是所谓“十二月政变”。阎锡山出动了47个团的兵力，分三路向决死二纵队和八路军晋西支队发起了进攻。接着，事变又扩展到晋西北、晋东南和晋东北，阎锡山向抗日武装全面开战。虽然经过了长时间的准备，但战事发展却与阎锡山的愿望背道而驰。在日军面前节节败退的军队，却向抗日的军队发起进攻，倒行逆施，难得人心。晋西北的战事，以阎锡山的彻底失败告终；晋东北，由于八路军的力量占绝对优势，阎锡山也损失惨重；在晋东南，决死队和抗日民主政权受到不同程度的伤害。在共产党的领导下，各新军部队在自卫反击中，都采取了顾全大局的克制态度。大敌当前，为了不在内部造成更大混乱，反击的矛头只是指向王靖国、陈长捷等军人，提出“抗日、拥阎、讨逆”的口号，给阎锡山留下回旋余地。在实施作战计划时，也只以击溃顽军为目标，没有采取全歼的方针。
面对阎锡山挑起的摩擦，中共中央以大局为重，认为在民族矛盾仍是国内主要矛盾的情况下，阎与日、蒋的矛盾依然存在，争取阎锡山留在抗日统一战线内，对抗战事业有利，而且也是可能的。因此，对山西以新、旧军冲突面目出现的破坏抗日统一战线的事变，还是采取了调解的姿态。阎锡山看到在军事上处境不妙，更危险的是，蒋介石提出新军由国民党中央改编，并派胡宗南的部队东渡黄河占领了晋西，于是赶忙表态同意中共的调解。1940年2月，萧劲光、王若飞持毛泽东的亲笔信来到秋林。毛泽东的信中说：“近来山西境内发生某些不幸事件，然大势所趋，终必和平解决，尤因先生领导提挈至明至慎，必能处理悉当，益臻进步、团结之途，无可疑者。”中共中央表示了赞成新、旧军团结，拥阎抗日，新军仍属晋绥而不受国民党中央政府改编，巩固阎的地位等意见，得到了阎及其高干们的欢迎。周恩来通过八路军驻秋林办事处，也给阎锡山一封亲笔信，劝他坚持抗日，继续走团结抗日的道路。此时已任山西新军总指挥的续范亭也写来亲笔信，在信中诚恳致词，说：“范于西安事变后就站在统一战线立场上。山西是最进步的，所以回到自己的家乡。蒙钧座优遇，待以国士之风。感激之余，故始终以真诚报答，未敢以一言虚伪应付也。……新军是山西之子弟兵，不能离开山西之怀抱，更不能离开钧座之领导。大家正渴望钧座之宽大为怀，接受他们的请求也。共产党对于统一战线认为是长期的，不但抗战需此，建国亦需此。……蒋先生做法始终是清一色、一把抓的作风。这是使全国最害怕的。如甘肃、陕西、四川，本省士大夫阶级几无立足之地，到处特务横行，欺压群众，人民侧目，敢怒不敢言。如此下去，是危险的。现在是特务乱政，将来怕要特务乱国。独裁过甚，利用肖小，自古是危险结局。所以今天主要是开放民主，罢除特务，教育干部，才有正当出路，才可以图存。延安方面始终认为山西是统一战线的支柱，司令长官是对统一战线最努力最热心的。有些人说，到重庆才觉山西进步不少。这是事实。深信钧座于时局逆转风雨飘摇时，始终为国家民族之中流砥柱也。”通过这些努力，和平谈判得以顺利进行。谈判中，萧劲光还表明了中共的原则立场，即“人不犯我，我不犯人；人若犯我，我必犯人”。这大义凛然的坚决态度，令阎锡山感到不安，他表示：这“人不犯我，我不犯人”可以接受，可后面的八个字太强硬了，是否可改成“人若犯我，我必自卫”。当萧劲光他们回到陕北，向毛泽东汇报此事时，毛泽东坚定地说：一个字也不能改，就是要坚持“人若犯我，我必犯人”！
事变虽然在中共的调解下和平解决了，但阎锡山这次置民族利益于不顾，为着一己的权欲而打的算盘，却真正是搬起石头砸了自己的脚。他预计在一个月之内完全“解决”新军的计划完全落空不说，还给蒋介石向山西派兵创造了机会。中央军趁机进入晋西，并抢占了晋东南的一大块地盘。晋西北则完全脱离了阎的统治，成为巩固的抗日根据地。牺盟会召开了山西全省第二次代表大会，决定山西新军在八路军的领导下进行整军，并正式加入八路军的作战序列。经过这一番折腾，新军未能被消灭，阎锡山反倒损兵折将，丢失了四分之三的地盘，新军多达33个团的兵力加入了八路军的战斗序列。从此，阎锡山的实际势力就只能控制晋西一小块地方了。续范亭将军曾经嘲笑他：“阎王定下杀马计，跑了马儿又折兵”。更令阎锡山沮丧的是，这次破坏抗日民族统一战线的倒行逆施，在全国造成恶劣影响，受到了广大爱国进步人士的谴责和唾弃。许多进步人士和青年纷纷离山西而去，使一度被誉为“模范战区”的阎锡山威信一落千丈，内部也出现了众叛亲离的局面。集团军司令陈长捷等高级军官弃阎投蒋，军队陷入了不稳定状态。
某种意义上说，“十二月事变”给阎锡山的打击与刺激甚于中原大战的失败。他以山西的太上皇自居，认为牺盟会是自己一手栽培起来的，不应该反对自己。他气愤地说：“我给了他们地位，给了他们政权，给了他们兵和枪，他们却背叛了我。”对此，赵戴文开导劝慰说：“三十年前，你不也是前清的官员吗？你的兵和枪不也是清政府给的吗？今昔事虽各异，理有相似。”如赵戴文这样的饱学之士和忠诚下属，只用“理有相似”的笼统话给他宽心，却没有认真追究一下，为什么会有这样的相似？当时当地，阎锡山已经成了如清政府一样的阻碍历史前进的势力，属下造反当然也就是一种正义和革命行为了。
从1940年起，阎锡山驻扎到吉县西北30公里处的克难坡。这是一道东西长约一公里，南北宽约半公里，三面临沟河，一面通高原的葫芦状山梁，地势险要，易守难攻。原是一个有六户人家的小村，名叫南村。阎锡山讲迷信，认为南村与“难存”谐音，为了表示自己坚守阵地，克服困难的决心，将其改名为克难城。一般称为克难坡。经过二年多的修建，这个弹丸之地成了一个窑洞迭立，可容纳二万余人的小山城。移居到克难坡的阎锡山，实际控制的地盘，只有晋西南黄土高原区的七个贫瘠小县，以及晋南和吕梁区的十多个不完整的县，其处境十分困难。正如阎锡山自己所言：可以说是四面压迫，打击我们吃饭穿衣，被人限制我们的交通，使我们一日不得一饱，衣服不能更换。但是，尽管条件如此恶劣，如此艰苦，阎锡山却不忘摆他的架子。因为克难坡是山区，道路坎坷，开始时从西安买进一辆人力车，供他出入乘用。每有出行，副官，秘书，参谋，参事，以及身边的高干们结队随从。人丛中有提暖壶的，有拿坐垫的，有架斗蓬的，还有捶腰、捶腿的，天冷时还有持手炉的，林林总总，成为一支长长的、奇形怪状的队伍。后来，二战区长官部专门购进一辆小汽车，阎锡山每逢外出，沿途都有卫队和当地驻军警戒。警卫长、宪兵司令等骑着马，沿途跟随巡逻，阵势之大，在当时的中国，除去蒋介石，无人可比。陈诚就任第一战区司令长官，曾到克难坡见阎锡山。陈轻装简从，只带秘书、副官各一人。强烈的反差，让阎的随从们感慨不已。阎锡山此时还虔诚地敬起了土地爷。在他所住的两孔窑洞中间的壁上，有一土地爷的神龛，内贴“天地三界十方万灵真宰之神位”，而外边贴着一副红对联，曰：“天天要进步，地地要划分”（指实行他所主张的兵农合一，划分份地）。作为当时二战区的首脑所在地，不断有中外记者来参观访问，此情此景，也成为一大奇观。
阎锡山不得不在表面上摆出一副继续抗战的姿态，内心的算盘却在剧烈地拨动。一是坚持他的“只要有力量，任何合理的事情都可以做成功”的信条，决定扩充军队；二是想方设法进一步加紧对军队的控制，对部属的控制。经过这次扩军，军队达到四个集团军，8个军三个炮兵团，两个工兵团，一个政卫师，还有六个游击纵队，号称17万，实有12万多人。
不断加强对部下和军队的控制，是阎锡山一大心病，在这一方面，他真是绞尽脑汁，用上了古今中外的各种方法。多年来的混战中，军阀们的部下朝秦暮楚，频频倒戈的事实，让他印象深刻。而在他的账薄上，山西已经是阎家的私产，对任何企图将他取而代之、和他心思不一的异己，他都毫不留情地予以痛击。他先后驱走了把兄弟、太原起义时的亲密战友黄国梁，驱走了曾为他立下汗马功劳的孔庚，排挤走了危急时曾救他一命的徐永昌……，能征善战的得力部下，也先后有许多人为他所不容，。特别是在讨奉战争中坚守涿州，在抗战初期血战忻口、保卫太原立下大功的傅作义，在他多方排挤下也被迫离去。阎锡山当然不会反省自己的过失，除了大骂这些人之外，他唯一的心思是如何加强组织上和思想上的控制，防止进一步的分崩离析，建立绝对忠于自己的组织核心，忠于自己的军队。他向法西斯学习，提出“决心建立铁军”。什么是铁军？阎锡山的注解是：通过强化内部组织和教育，造就一支军队，“打人人受不住，人打来必定吃亏；攻击人一定可以攻下，防御人一定攻不上来”。他雄心勃勃地计划着，这样的铁军，如能拥有10万，即可掌握山西；拥有20万，就可掌握二战区；而拥有30万，就能独占华北了。
1939年11月，铁军在阎锡山的家里正式宣布成立。其真实名称为“山山铁血团”，含义就在于“山西是阎锡山的”。但这样的名称显得太露骨，就以它一人介绍三人层层发展的方法，又称为“三三铁血团”。最后是将上述两种含义融合起来，正式称为“山三铁血团”。这个名称本身，就被定为最高秘密，阎锡山规定，任何人不得将组织的名称特别是它的含义泄露出去，否则，就以背叛组织的罪名予以制裁，也就是处死。开始的发起人为13人，后增至28人，号称二十八宿。二十八宿将当时晋绥的实力派人物都网络在内，而其核心人物是五台同乡，阎的至亲嫡系王靖国。
铁血团选在阎锡山的家中成立，清楚地说明它就是阎的御用工具，而成立仪式近乎滑稽一般的表演，更证明着它的陈旧和腐朽。成立会在晚间举行。28名发起人与阎锡山、王靖国围成一圈儿跪下，先是痛哭以示真诚，又用针刺破手指头，用血在白绢上点写守约。守约为：“三三铁血团守约。铁血主公道，大家如一人，共生死利害，同子女财产。”血盟之后，发起人跪到阎锡山面前宣誓。誓词中说：“以生命付诸组织，与组织共存亡，始终到底。如有违犯，愿受组织最严厉的处分。”誓词之后是宣读纪律：“犯以下各条之一者处死：一、脱离组织，背叛组织者；二、阴谋破坏组织者；三、不服从组织决议及指示者；四、泄露组织秘密者；五、有诬蔑会长之言论和行动者；六、污蔑同志破坏亲爱团结者；七、不积极努力组织工作、致组织受重大损害者；八、犯烟、赌、脏、欺之一者。”宣读完毕，宣誓者还要再次刺破左姆指，在宣誓人名下盖上血印，以示郑重和至诚。之后，阎锡山叫出他的家人，与发起人相见，并给儿子一一作介绍：这是某某叔叔，你们要行礼，今后咱就是一家人了。接着在会餐中，彼此称兄道弟，表演出一派同心同德的和睦气氛来。
铁军要求每个成员必须符合“钢的志气、胶的团结、铁的纪律”三个条件的要求，规定：组织永远不开除同志，如有违犯纪律的，就给予最严厉的处分——自裁处死。铁军用层层密密的纪律把成员死死地绑在阎锡山的车轮上，并用封建行会的发展方式，进一步罩上一层神秘的外衣。参加铁军的手续很严，要先由介绍人说明被介绍人的情况，经过审查，再经过短期培训，经过阎锡山、王靖国等首脑人物的四次传见，才能履行正式的加入仪式。入会仪式十分诡秘，半夜里才要举行。最初发展的几批，都在阎锡山居住的窑洞中举办仪式。窑洞中间悬挂着阎锡山的大幅画像，前面摆着桌子，桌上点起两支腊烛，插着一炉香，桌中放着由发起的二十八人的血指写就的守约，旁边放着几根针。阎锡山威严地立在桌旁，参加人要先对阎行九十度的三鞠躬礼，经介绍人说明情况，阎点头表示认可后，参加人就跪到桌前，面对阎锡山的画像，背诵誓词和纪律。之后，用桌上的针刺破手指，在誓词后面宣誓人的名下押上血印。阎再作简短训话，参加人再次表示决心。规定的手续和仪式，必须是个人单独举行。后来发展的人多了，就由各地的小头目代为主持。阎锡山不可能次次都在现场，但他的权势和威胁却压抑和控制着每一个参加人。它的发展方法，采用“三三法”，计划发展十二层：发起人为第一层，每人可介绍三人为第二层……如此层层发展，到第十二层。计算一下，发展到第十二层时，当有成员近五百万人。这一方面表明了急于扩张实力的狂妄，而另一方面却也暴露出自命不凡的愚蠢。各层的人还一律使用化名。阎锡山化名为“齐继川”，取“一齐继承阎伯川”的意思，铁军组织化名“郭复兴”、“杨明德”。组织按二十八宿分为二十八系，纵分为层，只发生纵的关系，不发生横的关系。开始时，铁军的发展对象是部队的中上级军官，逐步发展到下层军官和政工人员，后来更发展到士兵。而且，在所谓“领导一元化，军政一元化，组织一元化”的口号下，由铁军成员掌握军政大权，铁军成为阎锡山手中的一支御林军。铁军发展到部分士兵后，又称作铁军基干，阎锡山把他们称作铁班中的“铁大梁、铁二梁、铁柱子”，这些人有极大的特权，甚至可以“当场打死倡议缴械投降的任何人”。这个组织中的分子，都能和阎锡山发生直接联系，所谓“大家和会长一条心，条条电话线通向会长”，在军队中起到了相互监视和制造恐怖的作用，比警察和宪兵都厉害。
成立铁军的目的，主要是为了加强对军队的控制。从“晋西事变”后，阎锡山就着意培植王靖国替他掌握军队。为了解脱王靖国，他把造成“晋西事变”的责任全部推到赵承绶、郭宗汾等人头上，上报南京政府，予以处分，并借此机会撤换、调整了一批军队高干。不久之后，所有军队都被以王靖国为首的铁军掌握。王靖国从此权倾一时，不可一世。
