亏空案影响深远，胡虽就任军团司令，但对蒋氏父子，尤其是蒋经国，非常不谅解。胡于军团司令任内，与美军顾问与CIA之间相处异常融洽，经常登舰与美军高层把酒言欢，以致引起蒋氏父子关注。也许受到孙立人事件影响，国府将领与美军高层人物之间往来，都会向上级呈报谈话内容，以免引起当局疑虑。唯独胡是例外，胡对军系建言，都通过美军反映，蒋经国《书信集》提到几件事，均与胡有关，令蒋介石内心很不愉快。此事连俞大维都告诫胡与美军来往，注意言行。胡依然故我，不受节度。而后蒋为反攻需求意促胡回任金防部，胡婉拒，蒋向胡提条件，晋任胡为二级上将坐镇金门。胡二度回任，发现事机不妙，有三件事使胡对蒋异常不满。一是由胡一手成立的金门物资社，原本由金防部掌控，于胡上任前悄然改由联勤总部接手。二是胡保举的三位师长，于胡到任前都被撤换。三是金防部居然有三个通报系统，直达中枢。胡以二级上将坐镇金门，权限不如少将副司令官，胡知势不可为，任事态度显然不如第一任来得积极，注定胡尔后在层层管制下，成为蒋介石看门的封疆大吏，而非干纲独断的司令官。
胡二度回任，金门发生震惊中外的八二三炮战，于危机中蒋胡二人为琐事冲突时起，在三位副手被炮击身亡后，胡为扛起政治责任，遂于炮战发生不到七十二小时内向蒋呈辞。以胡久任疆场难道不知「阵前易帅」是兵家大忌？胡当然清楚，若非势不可为，胡怎敢在人情、义理、责任有所亏欠下呈辞。何况大敌当前，胡弃部属而去，与胡治军风格完全相违。回想从中枢无主，大局糜烂时，胡自力更生，无中生有率领三个完整军转战千里，追随蒋介石，临危之时，胡对蒋仍孤忠耿耿，为何在炮战发生后请辞易帅？一位敢于任事的将领，临战逃跑，必定有不能告人的内情。唯内情遍查文书档案，都找不到证据，内容有待挖掘。
胡于炮战期间去职，众说纷纭，然而事实真相仅有一个，出于「问责督切」四个字。三位副手阵亡后，上从蒋介石，下至王叔铭，要查办此事，追究胡琏责任。有些事胡琏愿承担，有些事胡琏不能讲。如三个系统直达中枢，暗示当局并不信任胡琏，而事事掣肘，胡指挥不动部属，重蹈汤恩伯覆辙，胡除呈辞外，已无路可走。
举例说，胡随身携带小册子内，经常记载部队首长代理人选。以连来说，连级军官失事，代理首选是火力排长担当，再由步兵排资深军官充任，以此确定代理人制度运作。类似规范唯独金防部例外，代理人选竟然由参谋本部指定，由资浅副司令官张国英担任，去指挥三位资深中将，完全违背制度，丝毫不尊重司令官人事权限，表明当局完全不信任胡指定代理人选，胡出任有责无权的司令官去职已属必然。兼以胡蒋常为人事权起争执，从未得到合理解决，搞得胡心烦意乱，呈辞反而是「解脱」，为顾及胡的颜面，蒋介石准以胡治病为由，离开胡经营长达七年的战场，从此不复当权。
胡琏赞蒋经国量大
事隔八个月胡琏经安排先赴日本参访，拜访李德廉、蔡孟坚等人，再转赴西德治疗眼疾，说明胡以治疗青光眼为由呈辞，完全是「假的」，回台胡以陆军副总司令之尊周游各地。此时蒋突以「才堪大用」为名召见胡琏，意促胡三度回任金防部司令，被胡婉拒。而后蒋行反攻大计，调胡出任副参谋总长主持「国光计划」制定反攻大略，胡再拒绝。此时胡对蒋的承诺，已不抱任何期待。
在此期间，蒋仍不死心，五度出面，还派蒋经国、俞大维、陈诚、刘安祺、彭孟缉等人劝驾，请胡斟酌蒋的好意，胡已心如死灰，任何职位都无法挽回全军破敌之心。当胡七次拒绝蒋介石邀请，蒋对胡不可理喻的态度，反感日甚。从此除维持公谊来往外，私下已形同陌路，师生关系降至冰点。直到美军介入越战，蒋见机不可失，征询胡使越意愿，胡毫不考虑的接受，原因是胡又回到过去「灰黑领域」事务的处理，没想到一去八年，仍未达成蒋的期许。一九七二年十二月十日胡离任回台，迫于生计，胡接受美国车厂聘任，有意辞去战略顾问一职，转赴美国发展。辞职之事惊动蒋经国，经审慎考虑，蒋经国决意晋升胡为一级上将，以示化敌为友之意，及收编土木系之心，令胡颇为动容。胡晚年回忆这段过程，蒋经国肚量很大，不计前嫌肯定胡的作为。其次在晋升后，蒋经国告诉胡两件事，一是去看陈诚，一是胡在蒋当权后，是第一位晋升的一级上将。这两件事使胡感到莫名。此因陈诚已去世多年草木已拱，蒋经国并未忘记陈诚及其子弟兵为国贡献，升胡为一级上将对陈总算有交代，表示蒋没有怠慢土木系。其次胡的晋升，表达蒋对土木系年轻将校解除管考，望胡放下恩怨，与蒋共同奋斗。
胡不止一次称蒋经国肚量大，但胡仍有遗憾，胡常说：「这一级上将若由蒋介石亲自颁授，我死而无怨！」显示胡对蒋介石纵有政见之争，对蒋还是孤忠耿耿。一九七五年四月五日凌晨蒋介石去世，一九七七年六月二十二日胡在摸牌中走完自己的一生，师生之间恩怨纠葛，总算降下帷幕不起波澜。
胡琏死后多年，家属欲修缮房屋，在胡起居室内发现有夹层，打开来清点居然藏有借据、地契、借条及六百两黄金，此黄金有的是胡留存，有的是朋友还款，有的是越南华侨所赠，说明胡在乱离世代独钟黄金，是真实的。
胡在摸牌中走完一生，没人问胡与蒋介石、蒋经国、陈诚四角关系发展，却对胡走公、走私、贮存黄金的事保持高度兴趣。这是看轻胡于离散之世治军牧民的能力，如果胡没有洞烛机先的预判，十二兵团绝无可能无中生有，成为防御台湾唯一的主战兵力。如果没有精明头脑，胡怎么可能在内无支持、外有强敌状况下，自立图强守住金门。胡建设金门，没有一毛钱落入自己口袋，反而将所有事业归还政府。故而谈走公、走私、黄金故事，需注意时代背景交织成的血泪困境，这才是真诚的历史。
其次在探讨历次台海危机，学者专家或出于定见，喜从故纸堆中找细节，有意忽略战场经营者的角色，及指挥官面对困境无从解决的干扰。导致论点看不到作战指导，也对战争场景感到茫然。不能说是专家学者的怠惰，而是他们对史料档案的解读，欠缺挖掘真相的训练，故而写许多奇奇怪怪的论文或文章，也就不足为奇。如果搞不清胡蒋陈蒋四角关系对战局影响，距离史实真相反而越来越远。
胡琏晚年经傅乐成提点，告以「君臣相遇、自古为难」、「君臣一体，自古所难」，窥伺胡的内心，胡仍想与蒋弥缝关系，无奈彼此已无互信基础，暗潮汹涌过后，胡投闲置散，没料到关系竟由蒋经国弥合，此时胡琏已无实力与蒋经国抗衡，只有徒唤奈何，接受崇隆的一级上将地位，这是时代悲剧，也是历史的无奈。
附录一：陆军第十二兵团所辖军师团长名册
陆军第十二兵团所辖军师团长名册（一）（一九四九年十月二十五日以前）
陆军第十八军
军 长 高魁元
副军长 萧锐、刘景蓉
参谋长 荣孝雨
陆军第十一师
师 长 刘鼎汉
副师长 翟连运、魏化灏
参谋长 耿清寰
三十一团 团长 陈以惠
三十二团 团长 王诚华
三十三团 团长 陆志家
陆军四十三师
师 长 鲍步超
副师长
参谋长
一二七团 团长
一二八团 团长
一二九团 团长 张执中
陆军一一八师
师 长 李树兰
副师长 杭世骐
参谋长 谭鸾昌
三五二团 团长 唐俊贤
三五三团 团长 杨书田
三五四团 团长 林书峤
陆军第十九军
军 长 刘云翰
副军长 吴垂昆
参谋长
陆军第十三师
师 长 吴垂昆
副师长
参谋长
三十七团 团长
三十八团 团长
三十九团 团长
陆军第十四师
师 长 罗锡畴
副师长
参谋长
第四十团 团长 黄煜轩
第四十一团 团长 廖先鸿
第四十二团 团长 李光前
陆军第十八师
师 长 尹俊
副师长 孟述美
参谋长
五十二团 团长 孙竹筠
五十三团 团长 张灥
五十四团 团长 文立徽
附录二：金门区团长以上主官简历册
