他也大谈与共产党联合的问题，说：“国民党的同志，对于共产党的同志，尤其不可有反对，因为我们要晓得，‘反共产’的口号，是帝国主义者用来中伤我们的。如果我们也跟着唱‘反共产’的口号，这不是中了帝国主义的毒计么？”“总理决定下来的主张，我们是不可违背的。如果不然，就无论你如何信仰三民主义也是假的了。因为总理容纳共产党加入本党，是要团结革命分子，如果我们反对这个主张，就是要拆散革命团体，岂不是革命党罪人？”（蒋介石：《在黄埔军校特别党部第三届执行委员选举大会上的演说词》，1925年9月。转引自《中国政党史》第206页。）当时蒋介石革命的口号喊得比谁都要响亮，革命的姿态比谁都要左，难怪当时国民党的西山会议派也以为蒋介石是一个左派。但这只不过是蒋介石台面上的表演，是一种政治权术，而实际上他对黄埔军校中的中共党员是极力提防，处处加以限制。当时担任黄埔军校政治部主任的周恩来回忆说：“当时黄埔军校有六百学生，大部分是我党从各省秘密活动来的左倾青年，其中党员五六十人，占学生的十分之一。蒋介石对这些人是提防、限制的。”“蒋介石用人的方法是制造矛盾，利用矛盾，操纵矛盾，拿一个反动的看住一个进步的，叫一个反左派的牵制一个左派的，用反共的牵制相信共产主义的。例如：第一师师长是何应钦，党代表就可用我周恩来。第二师师长王懋功因接近汪精卫而成为当时的左派，我推荐我党的鲁易同志去当党代表，他就无论如何也不干，用了右派的人。第三师师长谭署卿是右派，他就用鲁易同志为党代表。第一次东征以前，1925年2月，黄埔军校成立了青年军人联合会，他接着就在4月，在戴季陶的分裂阴谋下，成立了孙文主义学会，以相牵制。”
孙中山逝世以后，国民党内威望最高的是汪精卫。汪精卫早在辛亥革命以前就是一位杰出的反清斗士，在社会上享有崇高的威望。此人聪慧过人，为人圆滑，擅长文笔，巧舌如簧，后来深得孙中山的器重和信任。孙中山逝世前的遗嘱，就是由他担任记录的。所以孙中山逝世以后，国民党内许多人都把汪精卫看做是孙中山的继承人。当时，汪精卫任国民政府主席兼军委主席，胡汉民任外交部长，廖仲恺任财政部长，许崇智任军事部长。此即孙中山逝世之初国民党内的核心领导人物。蒋介石与他们比起来，名分与地位都相差悬殊。1925年8月20日，“四巨头”之一的廖仲恺被暗杀。一名受伤的刺客被当即抓获，据传暗杀与胡汉民有瓜葛。当天，国民党中央执行委员会、国民政府委员会及军事委员会举行紧急联席会议，决定成立“处理廖案特别委员会”，以汪精卫、许崇智、蒋介石三人为委员，赋予政治、军事、警察全权。胡汉民因受牵连，被排斥在外。经审查，刺廖的主谋人中既有胡汉民的部下，也有许崇智的僚属。8月25日，蒋介石下令拘捕胡汉民。9月19日深夜，蒋介石又派兵包围许崇智司令部，迫使许崇智去沪“养病”。对于蒋介石来说，廖仲恺的被刺，可谓天赐良机，他以精明的谋略和铁腕清除了胡、许，成为国民党内仅次于汪精卫的人物。
1925年11月，国民党老右派谢持、邹鲁、张继等在北京西山碧云寺召开“国民党一届四中全会”，设立了伪国民党中央党部，这批人被称为“西山会议派”。蒋介石为了捞取更多的政治资本，一方面在国民党的“二大”会议上大骂“西山会议派”是“反革命”，是“总理不肖徒”，“吾侪当鸣鼓而攻之”，等等。另一方面，他又大肆渲染自己，仿佛统一广东的首功应该归于他，他成了东征英雄，他慷慨激昂地宣称，“去年可以统一广东，今年即不难统一中国”。报告完毕，会场报以热烈的掌声，蒋介石成为国民党内迅速跃升起的一颗政治明星。结果蒋介石被选为国民党中央执行委员，接着又被任命为国民革命军总监，相当于后来的总司令。
蒋介石知道，妨碍他夺取国民党大权的，除了国民党内的元老，还有共产党和国民党左派。因此他在国民党内争夺党、政、军大权时，一方面玩弄权术打击、排挤党内的元老，另一方面又极力排挤在国民党内的中国共产党人士。为了排挤共产党，扩大自己的实力，牢牢地控制黄埔军校的军权，蒋介石制造了1926年3月20日的“中山舰事件”。3月18日，蒋介石指使孙文主义学会的骨干分子、海军学校副校长欧阳格，用黄埔军校驻省办事处的名义，向海军局代理局长、共产党员李之龙传达了一道命令：“转奉校长命令，着即通知海军局迅速派得力兵舰二艘，开赴黄埔，听候差遣。”中山舰按照命令于3月19日凌晨到达黄埔。蒋介石以此为借口，宣称共产党“阴谋暴动”，“企图推翻国民政府，建立工农政府”。蒋介石还故意表示惊讶，并矢口否认他曾下令调遣中山舰到黄埔候用。第二天，他下令扣押中山舰，逮捕李之龙，并拘捕了黄埔军校和第一军中的共产党员，软禁了政治部主任周恩来。又派刘峙率军队包围了省港罢工委员会，收缴了纠察队的枪支，同时又包围了苏联顾问住宅，监视苏联顾问，断绝其交通。后来经过中共的交涉和严正抗议，蒋介石才释放了周恩来等人，并假惺惺地表示：“此事起于仓促，其处置非常，事前未及报告，专擅之罪，诚不敢辞。”但仅过了两个月，蒋介石在共产党领导机关和国民党左派毫无准备的情况下，突然向“国民党二届二中全会”提出“整理党务案”，规定共产党人不得担任国民党中央各部部长等，以削弱共产党在国民党中的地位。由于共产党人反击不力，结果该案被通过。随后，担任国民党中央部长的共产党员，如组织部长谭平山、宣传部长毛泽东、农民部长林祖涵以及中央执行委员会秘书长刘芬等全被撤职。在会上，蒋介石当上了国民党中央执行委员会主席、国民党中央组织部长，不久，他又通过国民党中央任命自己为国民革命军总司令。这样，在北伐前夕，蒋介石就实现了篡夺党、政、军大权于一身的阴谋。
这时，蒋介石还想利用共产党以及工农群众的力量进行北伐，打倒北洋军阀，以实现对全国的统治，因此他没有公开与共产党决裂。但是，当北伐战争胜利进军到达长江流域后，工农革命运动如火如荼，形势不断高涨，引起了帝国主义和国内右派势力的极度仇恨和恐慌，他们除了公开反对北伐战争，还想方设法分化革命阵营，寻找新的代理人。而蒋介石在北伐战争中也加快了夺取国民党党权和国民政府政权的活动。
1926年10月，北伐军攻占武汉三镇以后，国民党中央召开政治会议，决定迁都武汉。会后，在粤的国民党中央委员和国民政府委员分两批北迁。先期到达武汉的中央委员和政府委员奉命于12月13日组成“中国国民党中央执行委员会及政府委员会临时联席会议”，负责日常工作，执行最高职权。当时蒋介石担任国民革命军总司令，率领北伐军第二、三、六军及第一军两个师进军江西，并攻占了南昌。蒋介石为了控制国民党中央和国民政府，把总司令部设在了南昌。但国民政府迁都武汉后，总司令部直接受国民政府的节制。因此蒋介石改变了他自己也曾提出过的迁都武汉的主张，违背中央的决议，采取迅雷不及掩耳的手法，把国民党中央主席张静江和国民政府代主席谭延闿迎到南昌，同时扣押了途经南昌准备去武汉的几位国民党中央委员和国民政府委员，企图造成在南昌发号施令压制武汉的局面。蒋介石于1927年1月3日在南昌召开“中央政治会议第六次临时会议”，非法决定中央党部与国民政府暂住南昌。这是蒋介石为了实现军事独裁和个人专断的野心所采取的一个重要步骤。蒋介石的非法决定，遭到了共产党人和国民党左派的坚决反对和抵制，他们喊出了“打倒新军阀、提高党权”的口号，很快就掀起了一个反对蒋介石独裁的运动。蒋介石迫于形势压力，不得不作出让步，把中央党部和国民政府迁到武汉。
蒋介石对共产党恨入骨髓，决定与共产党彻底决裂，用武力“清党”。为达到这一目的，蒋介石采取了以下步骤：第一，加紧勾结帝国主义和大买办资产阶级。1927年3月北伐军进驻上海时，蒋介石就密令将“打倒帝国主义”的口号改为“和平奋斗救国”。他一到上海，就立即向帝国主义表示：“国民革命军是列强各国的好朋友，决不用武力来改变租界的现状。”帝国主义则向他承诺，驻扎在上海的二万余军队帮助他镇压革命群众；同时，又会同上海买办资产阶级和民族资产阶级上层分子送给蒋介石1500万元，作为他进行反革命大屠杀的活动经费，并预定在大屠杀后，再送3000万元之巨款，作为蒋介石建立蒋氏政权的资本。以黄金荣、杜月笙为头子的帮会流氓势力也慷慨答应听候蒋介石的调用。第二，扫除上海外围的革命势力。他调何应钦到南京，缴了卫戍南京的拥护武汉政府的国民革命军三个团的枪支，解散了南京共产党支部。第三，从4月1日到3日，他同李宗仁、白崇禧、黄绍、吴稚晖、古应芬等连续召开秘密会议，商讨“清共”计划，对共产党进行“非常之处置”，决定4月12日正式分共。第四，为了麻痹工人的斗志，他玩弄政治欺骗手段，于4月6日特派军乐队给上海总工会纠察队送去一面由他亲笔题写的“共同奋斗”的锦旗，以表示对上海工人的“敬意”。
4月12日，按蒋介石预定的计划，大批流氓从租界出发，向闸北、南市等处工人纠察队进攻，制造纠纷。随后，反动军队以“调解纠纷”为名，收缴工人纠察队的枪支，占领上海总工会和工人纠察队总部，打死、打伤三百多名工人。第二天，上海二十余万工人举行大罢工，总工会召开群众大会，抗议反动派的暴行。会后，群众举行示威，反动军队用机枪扫射示威群众，打死一百多人，打伤数百人。接着，蒋介石下令在全市疯狂捕杀共产党人和革命群众。
蒋介石发动政变以后，以汪精卫为首的国民党中央下令开除蒋介石的党籍，免去他的一切职务，并通缉拿办。1927年4月18日，蒋介石集团在南京建立国民政府，与武汉国民政府相对抗。再加上党部设在上海的西山会议派，这时的国民党政权形成了宁、汉、沪三足鼎立的形式。汪精卫“七一五”反革命政变以后，宁、汉双方虽然在反共上取得了一致，但是相互争夺国民党正统地位的矛盾斗争却十分尖锐。蒋介石对于当时的形势认识得十分清楚，要独揽国民党的最高权力并巩固其统治地位，必须得到帝国主义的有力支持。因此蒋介石采取以退为进的策略，于8月12日通电辞职，宣告下野，偕张群等人出走日本。蒋介石下野后，宁、汉、沪合流，表面上完成了国民党的统一。
蒋介石到日本以后，就表示与日本亲如一家，并以保证不危害日本在中国东北的特殊利益换取日本的谅解。同时蒋介石还与美国进一步勾结。一是通过宋氏家族和美国建立了密切关系；二是通过与宋美龄的政治婚姻，取得了江浙财团的支持；三是加入基督教，表示对美国的忠心。1928年初，蒋介石复任国民革命军总司令之职。在2月召开的“国民党二届四中全会”上，谭延闿为国民政府主席，蒋介石为军委主席。
“四中全会”后，蒋介石决定组织第二次北伐，消灭以张作霖为首的北洋军阀。蒋介石把蒋、冯、阎、桂四大派军事力量整编为四个集团军，蒋兼任第一集团军司令，冯玉祥为第二集团军司令，阎锡山为第三集团军司令，李宗仁为第四集团军司令。1928年4月10日，国民党开始了第二次北伐。这次北伐进军非常迅速，不到两个月，就打败了张作霖。张作霖见大势已去，便于6月3日晚悄然离开北京，逃回东北。第二天在沈阳附近的皇姑屯被日本关东军炸死。至此，北洋军阀的统治宣告结束。
当时，在冯、阎、桂三派军阀中，冯玉祥的实力最强。为了削弱、限制冯，蒋介石决定先拉拢阎锡山。5月30日，蒋介石就背着冯玉祥和李宗仁，同阎锡山达成一笔政治交易：蒋同意把直隶和京津的军政大权交给阎，阎则支持蒋的统一领导。6月2日，蒋介石到新乡与冯玉祥会面，首先征求冯玉祥对于直隶、京津地区军政首脑人选的意见。冯玉祥虽然自己急欲得到这一地盘，但又想沽名钓誉，遂表示愿意服从蒋介石的意旨，以博得蒋介石的信任和好感，从而把直隶、京津地区交给他。哪知冯玉祥的话一出口，蒋介石就说中央决定任命阎锡山为京津卫戍司令，冯玉祥大失所望。蒋介石达到了借阎锡山的力量牵制冯玉祥的目的。但蒋介石对阎锡山也留有一手。阎锡山接管北平以后，任命张荫梧为北平警备司令，傅作义为天津警备司令。并从山西调集大批人员到北平，接管各部。然而没过几天，蒋介石便以国民党中央的名义派遣了一个“战地政务委员会”来到北平，接管各机关，将阎锡山的人员全部赶走。蒋介石原与阎锡山商定，由蒋介石的亲信何成浚任北平市长，冯玉祥得知后，更是义愤填膺，大发雷霆。蒋介石为了安抚冯，便表示愿把北平市长一职让出，请冯玉祥提出人选，结果冯玉祥推荐他的秘书长何其巩担任了北平市长。这样一来，警备司令是阎锡山的人，而市长却是冯玉祥的人，彼此牵制。
1928年7月，蒋介石在北平提出“军事善后案”和“军事整理案”，企图通过“裁兵”扩大自己的实力。蒋介石提出，把全国300个师缩编为50个师，每师1万人。将全国分为12个军区，每个军区按比例保留军队。按照这个方案，冯玉祥、阎锡山和李宗仁各占一个军区，而他们手下的军队很多，必须大量裁减，蒋介石除占有一个军区外，还以中央的名义，直接或间接地控制其他8个军区，所以他的军队不仅一个也不减，反而还要大量补招新兵。这个方案当然遭到了冯、阎、李的坚决反对。1929年3月，首先爆发蒋桂战争。蒋介石在战场策动桂系将领前线倒戈，桂系迅速失败，李宗仁、白崇禧逃往国外。5月，又爆发了蒋冯战争。蒋介石故技重演，以重金收买冯手下两员大将韩复榘和石友三，韩、石倒戈反冯，冯玉祥不得不宣布下野。
1930年3月，阎、冯、桂三派将领联名通电反蒋，爆发了中原大战。这时关外的张学良成为双方争夺的焦点。张作霖死后，张学良潜回东北，排除内外干扰，继任东北保安总司令，初步稳定了东北的局势。对于中原大战，张学良开始主张和平，不想使东北军卷入内战。但是蒋系和反蒋系的人都极力拉张结盟，在这种情况下，张学良就不得不考虑决策。蒋介石为了拉拢张学良，可谓费尽心机，显示出他在权谋上比对手高出一筹。第一，他派亲信张群、李石曾、吴铁城等长期轮班盯着张学良，进行拉拢。第二，委任张学良为陆海空军副总司令。第三，将平津以及华北地盘均交奉系掌握。第四，蒋又以高官厚禄收买张的部下，用300万现洋买通东北军旅长马廷福率部归附，使张感到极大的压力。第五，蒋介石对张学良本人也施以各方面的关怀和恩惠，除了特邀他赴南京参加国民党三届四中全会，还推选张为中央政治会议委员；张学良的夫人于凤至也被请到南京，并被宋美龄的母亲认做干女儿；蒋还亲自陪张学良拜谒中山陵，给张的卫队训话；蒋介石夫妇邀请张学良夫妇同游汤山等。蒋介石的这些措施和“诚意”使涉世不深的张学良深受感动，终于倒向了蒋介石一边，并“誓尽忠诚，以拥护中央，完成和平统一，虽牺牲生命，亦必完成此志”。1930年9月18日，张学良通电拥蒋，率东北军入关，帮助蒋介石打败反蒋联军。
中原大战以后，蒋介石于1931年5月在南京召开“国民会议”，通过了《训政时期约法》，以国家根本大法的形式将国民党一党专政的国家政治体制固定下来，为蒋介石的独裁统治披上了一件合法的外衣。
