咸丰大洗牌
道光帝御宇三十年，靠着勤俭持家的精神，总算将大清国给维持了下去。道光一生谨慎，为政用人，从无险着，不料他死后，遗诏却让所有人大跌眼镜。
自雍正之后，清皇室以密诏的形式确立继承人，已成为定制。但道光却打破成例，在遗诏中搞出来了两道谕旨，一道是以皇四子奕詝为接班人，另一道则是封皇六子奕訢为亲王。
两道谕旨，证明了道光生前在立储上的矛盾。
道光总共生了九个儿子，但次子、三子早殇，长子奕纬又在二十三岁时突然去世，死因扑朔迷离。道光登基时，奕纬十二岁，此时道光只有他这一个儿子，奕纬也理所当然地被视作了接班人。
奕纬的母亲并非皇后，但清室立储，并非重于正室，乾隆即以侧出而成为皇帝。对奕纬，道光也给予了更多的厚望。
奕纬的性格，又不同于他小心谨慎的父亲，成年之后，已开始显露出豪迈之气，若是康熙、乾隆，看到这个子孙，定然是极其喜欢。可道光是个谨慎的人，又处在一个衰落的时代，对儿子的要求自然不同于祖先们，要求安分为上。
奕纬读书时不是那么用功，师傅嘴碎，不时念叨：“要好好读书，将来做个好皇帝。”
不料奕纬却回嘴道：“等我做了皇帝，就杀了你。”
此话一出，如何了得，道光格外愤怒，下令打奕纬二十大板。行刑的太监看着皇子金贵，没有舍得用力打。道光看着儿子挨了一顿板子，还是活蹦乱跳，气上心头，冲上去就是一脚，正好踢中奕纬的命根子，随后一命呜呼。儿子被自己给踢死了，道光极为懊恼，但对外又不能公开讲，只能给奕纬以皇子的葬仪作为弥补，又赐他“隐志”的谥号。
奕纬死时，其他儿子都还未出生，故而道光也未立即立储。奕纬名字中，奕是乾隆皇帝所定的，不能更改，纬是道光所定。纬中有“纟”字偏旁，给人命悬一线之感，此后生的儿子，全部改用“言”字偏旁。
到了道光二十年之后，年近六旬的道光开始思考皇储问题。
此时可以选择的有三个儿子，分别是皇四子奕詝、皇五子奕誴、皇六子奕訢。皇五子奕誴性格随意，大大咧咧，讲话也不注意场合，自然不讨重视礼法的道光之喜。道光二十六年，奕誴被道光过继给了三弟惇亲王锦恺，这排除了奕誴继承帝位的任何可能性。此时，皇四子奕詝、皇六子奕訢，成为最有可能性的接班人。
奕詝的母亲在他十岁时去世，此后交由静贵妃博尔济锦氏抚养，博尔济锦氏也是皇六子奕訢的母亲。
至读书时，兄弟二人各有一名师傅辅佐。奕詝的师傅是杜受田，奕訢的师傅卓秉恬，两名师傅均是汉人大儒，饱肚诗书。
做皇子们的老师，不但是无上的荣耀，更寄托着未来的无限机遇。若是皇子异日能登上帝位，则今日的老师，将是他日的帝师。而成为帝师，则是潜伏在中国知识分子心中的梦想。
两个皇子，各有特点。奕詝老成持重，奕訢天资聪颖，而据当时人的观察，道光似乎更加喜欢皇六子。
但奕詝的老师杜受田却是高明，他设计了一个得到道光认可的奕詝，那就是韬光养晦，展示出忠厚仁德，谦恭温良的形象，如此，奕詝优柔寡断的性格反被视为作了优点。与此相反，天资过人的奕訢则持才傲物，锋芒毕露，
毫无疑问，道光更喜欢奕訢。在生命的最后关头，昏迷中的道光犹问：“六阿哥到否？”看着赶到的奕訢，道光只是“微叹”，随后去世。在生命的最后关头，道光仍然念叨着六子，可见他对奕訢的喜爱。
但道光的选择却是奕詝。之所以做出这样的选择，道光是基于多方面的考虑。其一，奕詝年长，符合中国传统嫡长子继承制。清皇室虽然没有严格遵守嫡长子继承制，但也受此影响。道光在立储时左右为难，奕詝是长子，且表现较好，为人处世没有任何纰漏。依照嫡长子继承制，自然应该立他为皇储。
其次，道光虽然极喜欢六子奕訢，可让他立他为皇储，却是另一番考虑了。道光是个稳重的人，一生恪守祖宗成规，让他标新立异，锐意改革，他做不出来。这样的性格，决定了他所选择的皇储，必然也是一个稳重持平的人。作为儿子，奕訢是道光的最爱，可若是作为皇储，则是另外一番考虑了。
在老师杜受田的点拨下，奕詝在道光面前尽情展现着仁厚的一面。围猎时，他不杀鸟兽，并说自己不忍伤生命，更不想与兄弟们比较马上功夫。道光召见时，他只知磕头，以示孝敬。与他相反，弟弟奕訢则策马开弓，展示自己的骑射功夫，更在道光面前，滔滔不绝，表现自己的治国良策。
道光选择接班人的主要考虑是政治，可他又不可避免的受到人情世故的影响，一个宽厚仁爱的皇子，更接近于万民的心理期待。在皇四子奕詝的仁爱攻势下，道光的天枰开始倾斜，并最终确定了皇四子奕詝为皇储。但道光对六子奕訢的厚爱也表露无遗，这使得他敢突破祖先定下的规矩，破例在遗诏中封奕訢为亲王。
咸丰帝
咸丰登基之后，朝中格局，又是一番大变，军机处也被重新洗牌。
首席军机大臣穆彰阿是上书房总师傅，上书房负责皇子们的读书事宜，名义上他也是新帝咸丰的师傅。穆彰阿与做皇子时代的奕詝关系如何，没有直接证据可以查证，但穆彰阿与奕訢的关系较为密切，却有明证。道光二十三年（1843），为了营救琦善，穆彰阿动员奕訢在道光面前说情，可以看出二人是有交接的。此外，奕訢还娶了穆彰阿政治盟友桂良的女儿，这使双方又多了一层关系。
与此相反，奕詝在读书时，就备受老师杜受田的影响，而杜受田政见与穆彰阿相左。杜受田对外态度强硬，力主对英国开战，并认为道光朝与英国战事的失利，在于主和派把持了朝政。饱腹诗书的杜受田，虽然在讨论对英国人的战事时提出了一些荒诞不经的战术，但当时的知识分子认知基本如此。号称开眼看世界的林则徐，处理起外交与军事，其水平与杜受田相差无几。
受杜受田影响，咸丰对外也持强硬态度，自然对主和派穆彰阿心有成见。此外，穆彰阿与奕訢有着联系，一旦形成政治势力，对咸丰也是一种威胁。但刚做了皇帝，咸丰还不好立刻拿穆彰阿开刀，就先剪除穆彰阿的羽翼。
第一个倒霉蛋是穆彰阿的得力干将，军机大臣陈孚恩。二月十六日，在召见王公大臣时，因为葬礼事宜，陈孚恩与怡亲王载垣发生激烈争执。咸丰乘机指责他出语乖谬，降三级留任。陈孚恩军机章京出身，为人八面玲珑，何等乖巧。一看形势不妙，陈孚恩在五月上奏，以母亲年迈多病为由，请辞去一切职务，返回原籍江西尽孝，并得到咸丰批准。陈孚恩离京之后，避开了朝内的这一轮政治洗牌，异日又将重新崛起。
咸丰在重用载铨、杜受田、全龄的同时，二月二十日，又借修《宣宗皇帝实录》之名，任命穆彰阿为实录馆监修总裁，实际上等于将他排挤出军机处。二月底，咸丰让群臣上疏，就如何用人提出自己的看法。
理学卫道士倭仁上疏认为应当远离小人，小人的标准是巧佞躁进，排斥异己，模棱两可，揣摩上意。倭仁的这个上疏，表面上看没有明确所指，但穆彰阿在道光朝把持朝政，排斥异己，世人所知，题中之意，不言而喻。随后咸丰在上朝时，又特意将倭仁的奏折展示给群臣，并亲自褒奖了倭仁。咸丰这是在间接释放信号，预示朝中将有大变。
在朝廷中厮混的，哪个不是揣摩上意的高手。咸丰此举一出，朝内立刻知道政治风向变了，新君必将清理穆彰阿一党，于是群臣踊跃上奏，响应咸丰，请整顿弊端，正本清源。借着此种声势，咸丰又在朝野内外掀起新一轮的“君子小人”之辩，为清理穆党营造舆论。面对此景，穆彰阿一党不敢直接反击皇帝，但他们却也不甘坐以待毙。
穆彰阿政治集团的中坚之一耆英首先出击。耆英在辩论之中，不阴不阳地对皇帝道：“君子亦恐误事”，激得咸丰一腔怒火，痛斥一番。而在朝野内外的口水大战中，作为穆党的领袖，穆彰阿却按兵不动，冷眼旁观。
穆彰阿也不是没有牌可以打。咸丰想塑造声势，打击穆党，而穆党在政治上的主要旗帜是对外主和。反对穆彰阿的一派对外主战，咸丰要打击穆彰阿，必然要站在主战派一方。诚然，咸丰登基之后，在杜受田的推荐下，曾被罢黜的主战派林则徐、姚莹、周天爵等人纷纷被起用。
就在此时，英国人进广州城一事闹得沸沸扬扬。英国在广州与对外持强硬态度的两广总督徐广缙无法达成协议，就转而想从主和派穆彰阿、耆英之处取得突破。
英国派出专人，为了广州入城一事向清廷投递外交文书。英国外相巴麦尊在致清政府的外交文书中，直接把穆彰阿、耆英当作了谈判对手，外交文书中大赞耆英“熟悉外务事理，众所共知。”英国投递外交文书，对穆彰阿集团是把双刃剑，如果利用此次契机，将咸丰给绑架，转而对英国持主和态度，则穆彰阿一党的政治地位必然能保全。
不料咸丰是初生牛犊不怕虎，对来华的英国人嗤之以鼻，让各地督抚严加防范，并拒绝接受英国人的投书。英国使臣在上海碰壁之后，转而到天津投书，又被拒绝。外交沟通未能成功，英国人只好灰溜溜地返回香港去了。英国人这一退走，却让咸丰大感得意，以为自己的强硬态度让洋人畏惧，一展天朝雄威。
两江总督陆建瀛，又适时地上了一个奏疏，称上海天主教堂十字架被雷击中。这在当时人看来，不啻是老天开眼，出来显灵惩戒洋鬼子。看到这个奏疏，咸丰顿时百感交集，批示道：“敬感之余，更深惭愧。”咸丰所深惭愧的是，他没有立刻发力，犁庭扫穴，将这些洋鬼子赶入大海。
历次科甲殿试阅卷官人选的变更，直接反映了未来的政治风向。此年的阅卷官，以祁寯藻、贾桢、孙瑞珍、柏葰、杜受田、周祖培等人充当，穆彰阿及其党人无一入选。此时穆彰阿一党，可谓是在风雨飘摇之中，而穆党大将耆英又无端招惹了是非。
有名天主教徒想去拜见耆英，却被步军统领衙门抓获，此事交由杜受田审理。事后查明耆英确实与这名教徒没有任何关系，但咸丰在心中已有了这样的认知，即耆英乃至穆彰阿与洋人有着说不清的关系。
中国的政治斗争，时常被脸谱化为忠奸之争，而每当这种政争，涉及到对外战争问题时，凡主战派，一概被视为忠臣，与此相对应，凡主和派，一律被视为奸臣。自英国人入寇以来，朝中以穆彰阿为中心的一派势力，对外力主和议，排斥主战派，自然也被视作了奸臣。
新君登基以来，受杜受田等主战派的影响，以往被压制的主战派人士重新出仕，扬眉吐气，连老迈的潘世恩也开始为林则徐的重新起用摇旗呐喊。在这种背景之下，穆彰阿一党已是日落西山，毫无扳回逆势的机会了。
咸丰暂时没有动穆彰阿，不是实力不够，只是时机未到。在处理好道光的丧事后，十月二十七日，咸丰下谕，正式罢免穆彰阿。
在谕旨中，咸丰指出穆彰阿的四宗罪。其一，穆彰阿贪图权位，妨贤病国，小忠小信，阴柔以售其奸，伪学伪才，揣摩以迎合上主。其二，穆彰阿排斥异己，构陷主战派达洪阿、姚莹等人，同时包庇主和派。其三，在英国人投书时，想利用此次机会，荼毒天下，以挽回自己的权势。其四，在咸丰派林则徐去广西镇压土匪时，穆彰阿又说林则徐未必能成行。据此四宗罪，咸丰下令将穆彰阿革职永不录用，穆党大将耆英则被降为五品顶戴。
后人常将穆彰阿归入“奸佞”大臣的行列，此论不当。穆彰阿虽然是首席军机大臣，但如咸丰在谕旨中所言，他需迎合上意，他的一切行动，都是在皇帝的意志主持下进行。他也不是一味的主和，他曾经抽调各地军民，布置防务，筹集军费，组织兵力对英国作战。只是在取胜无望后，道光转而倾向议和，穆彰阿自然得秉持皇帝心意，主张和议。
至于穆彰阿排斥达洪阿、姚莹等人，咸丰却忘记了，正是他父亲道光下令将二人革职，交军机处审讯。而在审讯之中，穆彰阿对此二人还有所回护。二人被道光革职后再未被起用，这又与穆彰阿有何关系？再者，咸丰询问林则徐情况，穆彰阿根据实际情况回奏：“林则徐此时身体不好，能否坚持到广西上任，不能判断。”后来林则徐果然病死在路上，如何能又能将此定为罪状？
穆彰阿诚然要对道光朝后期的颓废、腐化景象负责，但不能将清王朝的整体衰败的责任，推卸到他一个人身上，并据此指责他为奸佞之徒。这王朝的走向，国家的命运，是穆彰阿一个人所能左右的了？
穆彰阿这一倒下，就再也没有站起来。咸丰只是免去他的职务，却没有查抄他的家产，他衣食无忧，并可过上奢华的生活。但穆彰阿知道，他已没资本高调。余生之中，穆彰阿低调地住在北京甘井胡同，一切日用起居，不过平常人家光景。到了咸丰三年（1853），穆彰阿捐助军饷，才被赏给五品顶戴。咸丰六年，穆彰阿病逝。据云其死前遍邀门生亲朋到家相聚，设宴数十席，欢饮过后，穆彰阿拱手对众人道：“少陪，少陪”，随即坐下而逝。
无奈而退祁寯藻
咸丰朝初期，帝师杜受田以其对咸丰的巨大影响，而成为政坛上的重要势力，能与杜受田双峰并峙的则是祁寯藻。祁寯藻的人脉与力量，却是经由漫长的时间沉积而成。
祁寯藻的父亲祁韵士在户部主事，并参与复校文渊、文源两阁四库书，这经历对幼年随父读书的祁寯藻而言，影响深远，使他从小就受到良好的熏陶。嘉庆九年（1804），京师内负责铸钱的宝泉局铜亏空严重，户部郎中祁韻士受到牵连入狱，十岁的儿子祁寯藻到狱中服侍父亲，同时在狱中学习诗词。
父亲被发配伊犁后，出身书香世家的祁寯藻，留在家中学习四书五经，并准备科考。十九岁时，祁寯藻参加会试不第，此时父亲从伊犁被释，到陕甘总督那彦成府中教书，同时充作幕僚，祁寯藻跟着父亲一起在那彦成身边效力。那彦成是乾隆朝首席军机大臣阿桂的孙子，备受嘉庆信赖，这无疑是祁寯藻日后仕途中的重要资源。
二十二岁时，祁寯藻在科举上获得突破，殿试取得了二甲第三名的成绩，此后在翰林院从事文字编撰工作。在京师为官经年后，祁寯藻得到了外放的机会。祁寯藻性格平和，体恤民众，认为“当官岂念民艰辛”。
在军机大臣王鼎推荐下，道光二十一年（1841）祁寯藻入军机处。与王鼎一样，祁寯藻对外持强硬态度，自然与主张和议的首席军机大臣穆彰阿相悖。王鼎死去后，祁寯藻在军机处中未主动挑战穆彰阿，他知道穆彰阿一派，暂时还不是自己所能撼动的。
新君咸丰登基之后，军机处格局大变，穆彰阿势力被铲除，此后军机处的资深大臣只有祁寯藻与赛尚阿了。此二人都是科举正途出身，在文坛享有大名，且资历深厚，堪为群臣领袖，文坛宿将。穆彰阿去职后，在军机处排名仅次于穆彰阿的祁寯藻，顺理成章地成了首席军机大臣。
在祁寯藻主持下，军机处作了新一轮的整顿。此次整顿共涉及九项内容，涉及军机处的各种具体事务。
如严格军机处用印管理，用印时由一名章京监督，用印的数目详细登记。所发廷寄，由谁缮写应当登记入档，如果泄密则可加以查核。对于每日的草稿，由军机章京监督焚烧。无关人员不得进入军机处值班房，也不得在军机处直庐外窃听。严格稽查军机处，不得旷班误班。对军机处的仆役也认真稽查，不得随意出入。隆宗门内军机章京值班房后面原有一道小门，为了防止由小门传递信息，应将此门封死。军机处档案，一存圆明园，一存方略馆，军机章京不在圆明园时，应由圆明园防守官兵严密看护。同时严肃纪律，严禁军机章京对外泄露信息。
由此次军机处整顿的内容来看，主要涉及的还是保密事务。自雍正七年军机处创设以来，每个皇帝都对军机处的泄密事件加以打击整顿，可还是无法根绝军机处泄密。军机处的具体事务，如拟定、缮写谕旨，均由军机章京操作。军机章京系从各部抽调出来的精英，他们与本衙门及京师内外的高官有着无数联系，并期待着财力与人脉的支援，以得到仕途的进一步发展。而所处理的各项事务，必然会被他们泄漏给与自己交结的朋党，并获得相应的回报。
军机处泄密的弊端，实是中国政治模式的弊端。中国传统政治依赖于人事，人事者，人与人之关系也。在军机处中，控制了重要信息的军机大臣与军机章京，或主动，或被动地，编织出了人事关系这张蛛网，而军机处的信息则是编制出这张网的蛛丝，只需不时吐露出一丝丝信息，自然会有无数馈赠回报。
有学者认为，祁寯藻为人处事不免迂腐，将自己所恪守的儒家理念，照搬到现实政治中来，手法生硬，思想僵化。有史料云咸丰登基之后，召见军机大臣时，祁寯藻滔滔不绝，口沫横飞地说了半天，让咸丰感到厌倦，此后更对他产生恶感。
对此实不敢苟同。祁寯藻为人绝不迂腐，却是相当圆润，此点在他与门生的诗词唱和及人际关系中即可看出。徐继畲曾将祁寯藻比为欧阳修，认为他“相业诗名两相称”。如果是个呆头呆脑的迂腐之徒，祁寯藻断难写出诸多传世的文章诗词，也难在官场纵横多年，游刃有余，门生无数，众星捧月。
此外，重视实学的祁寯藻，断然不会将书本上的知识，生搬硬套到现实政治中来。祁寯藻曾写过农学著作《马首农言》，倡导实学，重视民本。咸丰元年，咸丰下令免去道光三十年以前的民欠，祁寯藻认真部署清查工作，并请各省督抚努力让“小民均沾实惠”。在主持军机处后，祁寯藻作了诸多措施，以改善民生。
祁寯藻像
其二，依据军机处惯例，凡皇帝召见，就所问问题，军机大臣回答时要言简意赅，在几句话内将事情说清楚。而处理政务时，祁寯藻以“慎之又慎”而闻名于政坛。在军机处十几年，“慎之又慎”的祁寯藻断然不会繁琐拖沓作答，以至于让咸丰对他产生恶感。
相反，祁寯藻不但未被咸丰所反感，反而备受恩宠。可祁寯藻面临的问题是，此时的清国面临着日益严重的内忧外患，崛起于广西山野之间的洪秀全，更以排山倒海之势，一路狂驱猛进，向清廷发出挑战。
当此危难之世，明眼人都看出，“国难需用猛药”，可祁寯藻、杜受田等老臣，却为政保守，未对时政加以大的改造。对此曾国藩等政坛新秀大为不满，曾国藩在给郭嵩焘的信中，就批评了祁寯藻、杜受田、贾桢、翁心存等大臣，“恶其不白不黑、不痛不痒，假颟顸为浑厚，冒乡愿为中庸。阴排善类，而自居老成持平之列。”
实际上，早期曾国藩与祁寯藻的关系并不坏。在道光朝，曾国藩虽是穆彰阿的得意门生，对京内汉人大臣中坚祁寯藻，精明过人的曾国藩自然也要去结交。为了与祁寯藻交往，曾国藩做足了功夫。
曾国藩与祁寯藻的弟弟祁宿藻是同年进士，两人关系密切，由祁宿藻的这层关系，曾国藩得以与祁寯藻交往。据曾国藩在日记中记载，道光二十一年（1841）七月十三日，他早上起来后一气写了两百六十个大字送给祁寯藻。在祁寯藻的照顾下，祁宿藻没几年就外放到湖北当了知府，这让曾国藩颇是羡慕，并特意嘱咐自己湖北的朋友，要与祁宿藻搞好关系。
新帝咸丰登基之后，为了营造新气象，广开言论，命群臣进言。这类事本是皇帝摆个态度，臣子们上一二奏折，说些不痛不痒的话题，成就君王开明美名罢了。可曾国藩一根筋，直接上了《议汰兵疏》，直指绿营百弊丛生，官兵与土匪无异。奏折递上后，咸丰看了扔在一旁，一笑置之。
不想曾国藩抓住杆子往上爬，不久又上一折，矛头直接指向皇帝本人。他指责咸丰帝重视小节，忽略大计，惑于虚文而不求实学，刚愎自用不能知人善任。此次咸丰帝看了后大怒，将奏折摔在地上，眼看着这个湖南愣头汉要倒霉了。
作为首席军机大臣，祁寯藻赶紧帮曾国藩求情，云：“主圣臣直”。
军机大臣季芝昌是曾国藩会试时的房师，也在一旁帮忙求情道：“此臣门生，素来愚直，惟皇上幸而赦之。”
祁寯藻、季芝昌帮忙说情，咸丰才平息了怒气，认为他只是迂腐：“念其意在进言，不加斥责。”
迨曾国藩崛起于乡间，组织乡勇对抗太平军，肃清湖北。喜讯送到京师，咸丰阅后大喜过望，立即下旨让曾国藩署湖北巡抚，又对军机大臣们道：“不意曾国藩一书生，乃能建此奇功。”
此时祁寯藻却道：“曾国藩以侍郎在籍，犹匹夫耳。匹夫居闾里，一呼蹶起，从之者万余，恐非国家之福也。”
咸丰听后神色大变，沉默良久，随后撤去曾国藩署湖北巡抚的命令。此后曾国藩有多年不被重用，六七年后才得以担任封疆大吏。对于祁寯藻的这一刀，曾国藩在心里默默地记下，到了咸丰十一年，友人过来探望他时，曾国藩出语激烈，嘲讽祁寯藻。重视修身养性的曾国藩，对于自己的过激反应，事后“退而悔之”。
但曾国藩没有想到的深一层却是，他的突然崛起，必然会遭到亲贵与大臣们的妒忌乃至打击。祁寯藻提醒咸丰，导致曾国藩仕途遭遇挫折，也可以视作是对他的另一种保护。当时人云祁寯藻妒忌曾国藩，祁寯藻闻言后大笑道：“予所以为此言者，正保全之也。”通过压制而达到保全的目标，也是中国传统政治中的一种高明手法吧？
同样，有学者认为，咸丰四年（1854）八月，祁寯藻因病求退，但真正原因并不是生病，而是因为奕訢的崛起。奕訢一入军机处便担任了首席军机大臣，且军机处中还有一班新进的年轻人，青年人与老年人之间，老臣与新进之间，不可避免地产生了矛盾，于是孤掌难鸣的祁寯藻不再恋栈，遂激流勇退，主动致仕。
但实际情况是这样吗？如果仔细翻阅祁寯藻年谱与日记，可以发现，第一，祁寯藻的致仕，并不是因为奕訢的崛起及与年轻人不和，而是因为他身体确实不好。第二，祁寯藻身体不好的原因多重，他的弟弟在南京守城而死是诱因，而筹集剿灭太平军的军饷让他无从下手，财政状况日益恶化，众多事务交杂，导致他病情加剧，遂主动请辞。
咸丰三年（1853）正月，太平军攻陷南京。祁寯藻的弟弟祁幼章此时担任江宁布政使，在守城时呕血而死。祁寯藻得到消息后大恸，“余比年有头晕目眩之疾，至是益剧，饮食亦减矣。”
咸丰四年二月二十二日，户部奏请将四川省的一些款项解到户部，以用作办公款项。前方军营开销尚且不够。户部竟然要增加开支，咸丰大怒：“恐军营饷需尚且不敷，尔部何关紧要，如是之搜罗也。”为此祁寯藻被“传旨严饬”。祁寯藻是有苦说不出，为了解决财政危机，户部事务日繁，人员日多，需要更多的办公费用，这却不是皇帝所能知晓的。
咸丰四年四月，咸丰在西苑召见祁寯藻时，见他头不停晃动，很是好奇，就加以询问。祁寯藻回奏道，臣得了眩晕病，吃药也没有效果。而头痛加重，吃药无效的原因，则是日益困窘的财政状况。
与太平天国的战事，耗尽了大清的国库。财政吃紧，连一般旗人的生活也受到影响。咸丰四年六月初一日，内务府镶蓝旗人吉年，因为领到的俸禄宝钞贬值，四处借贷无门，饥怒之下，闯入紫禁城告状。吉年当街大骂管理户部的军机大臣祁寯藻“无非是个酒囊饭袋、穿衣裳架子”，“军营头名大奸贼”，认为祁窝藻推行的财政措施，如发行钞票、铸造大钱等，都与国家无益。此事在京师影响极大，咸丰下令将吉年以叛逆罪处死。
吉年虽被处死，但祁寯藻心中并不好受，此月祁寯藻左肋胀痛，气喘头晕，请了两次假休养。七月销假之后，咸丰看他气色不好，又让他继续休息五日。但此时祁寯藻失眠严重，饮食困难，经常眩晕，八月又连续请了三次假，最终撑不下去，就在八月二十九日请求开缺退休。
祁寯藻在军机处中是资深大臣，此时与太平军的战事日益激烈，需要他这样的大臣坐镇军机处。咸丰让他暂时不要开缺，也不给他限定修养的时间，在家安心调养，等养好病再去军机处上班。
祁寯藻在家调养了四个月，反而病情严重，肝火上冲，头上生疮。到了十一月底，再次请求辞职。咸丰同意他辞职，并特许他以大学士的官位退休。之后祁寯藻没有返回山西寿阳老家，暂居京师，以示与皇帝共患难，“身留京师系天下望”。
祁寯藻本来住在东华门外，方便应卯散衙。退休之后，就搬到了宣武城南下斜街四眼井旧宅中。搬家之后，祁寯藻请诗人何绍基撰联“草堂小秀野，花市下斜街”悬于壁间，以示不问朝政，逍遥隐逸。可大清国的现实状况，却让他无法逍遥隐逸。
咸丰五年（1855），僧格林沁肃清了北伐的太平军，咸丰奖励群臣，祁寯藻因为此前在军机处上操劳，也被算了一份军功。此时祁寯藻的病情加重，眼睛看物体时，会将一个物体看成两个。祁寯藻自以为生命将尽，甚至开始准备后事。此年下半年，经过名医郭言义的细心医治，祁寯藻病情渐渐好转。
对于自己的病情，祁寯藻也坦承了原因，自入军机处以来，他十几年都未曾请过一次假。这次突然患病，且病情严重，久治不愈，主要原因在于，军兴以来，清军所费军饷无数，作为军机大臣的祁寯藻四处筹集军饷，却无功而返。
更深的一个层面则是，要筹集军费，就要加大对民间的盘剥，这与祁寯藻“重民”的政治理念不合。咸丰三年，祁隽藻写到：“计臣愧无术，搜罗力已殚。”实际情况确实如此，清廷已经到了挖东墙补西墙的地步，山西此年已交清了地丁银，被下令再征一次。京师中的大小官员，被要求量力而捐，已革职在家的前首席军机大臣穆彰阿也捐出了一大笔。
当日户部发行纸钞，在京的山西票号为了支持他，认购较多。后来纸钞贬值，不名一文，山西同乡受累较多，让他更是愧疚。
作为户部尚书，祁寯藻每日里要为军费而操心。一方面是王朝基业的捍卫，需要无数军费，另一方面则是民生凋敝，经不起风雨。昔日的主战派大将祁寯藻流露出了厌战的情绪：“频年海氛恶，瓯越厌兵事。终当洗甲兵，壮士毋弃置。”每日里被筹集军饷所困，忧虑交加之下，祁寯藻最终病发退休。
祁寯藻自订年谱，订到了六十四岁，此后的年谱则由儿子后来补订，由此也可以换一个角度观察退休后的祁寯藻。据他儿子记载，自从退休后，祁寯藻有大半年时间只能扶杖在园中慢慢行走。咸丰六年之后身体稍好，开始与文人往来唱和，对在京师的求学赶考的老家士子，或提供住处，或予以钱财，或加以提携。此一时段内，祁寯藻与文人们吟诗唱和，来往密切，做了大量的诗歌，并借诗言志，阐释自己的政治理念，关注民生。
祁寯藻出身于书香世家，除了少年时代陪父亲入狱之外，一生顺畅，并得享荣华富贵。但他所秉持的民本思想，让他去关注社会的底层。致仕之后，他的诗文之中少见清闲洒脱，多的是民众的苦难。咸丰六年（1856），北方久旱无雨，祁寯藻心忧难耐，四月时天降甘霖，欣喜之下作诗《喜雨》。咸丰七年，看到京师中有少妇抱着濒死的幼子去领取一碗稀粥时，祁寯藻悲痛的难以自抑，写下了《打粥妇》。祁寯藻曾作《述怀诗》一组，表达自己对时局的不满。出于忧虑这些诗会带来不必要的是非，祁寯藻又嘱咐儿子祁世长将吟诵苦难的诗删掉。
咸丰十年（1860），英法联军进逼北京，祁寯藻返回山西寿阳隐居。寿阳老家之中房屋已经破败，修葺之后勉强可以居住。在寿阳乡下时，祁寯藻每日都要去宗祠中焚香，读书静思。祁寯藻鼓励乡中子弟努力读书，“见童子塾中归，必询所读书，其聪颖者奖以笔墨等物。”祁寓藻一度还到村东北四十里，风景秀丽的山寺中居住养病，此地松翠弥谷，飞泉满山，夏季阴凉。山中的他，是否会有“四十年来人事异，白云变幻如苍狗”之感？
祁寯藻一生高官厚禄，久居京都，但不忘乡民故土，常以笔墨抒发自己对故乡的情感。他的书法，在山西被乡人追捧，为“一时之最”，存世的笔墨较多。不知何故，祁寯藻后来被京师内修炼拳法者，与孙悟空、猪八戒、黄天霸、武松之类并列，目为大神，设坛供奉，却也是清代大臣中的唯一。更有意思的是，祁寯藻故乡寿阳平舒的民众，每生病就要到祁寯藻墓去问病治病，此习俗一直延续到文革。文革期间，当地政府组织民兵用枪托将到祁寯藻墓问病的人赶走，又将祁寯藻的墓拆掉，方才断了此习俗。
钦差大臣赛尚阿
十九岁的咸丰刚刚登基，就面临着声势浩大的太平天国起义。在老谋深算的恩师杜受田辅佐下，咸丰调兵遣将，以李星沅为钦差大臣兼程前往广西，同时任命素以残酷著称的周天爵署理广西巡抚，想将太平天国早日扑灭。不料太平天国运动如野火一般蔓延，前线清军屡遭重创。
剿灭无功，除了清军作战能力低下之外，前线主将不和也是原因之一。广西巡抚周天爵、广西提督向荣、将领秦定三三人不和，也不把李星沅放在眼里。李星沅气恼之下，重病不起。前方久战无功，“匪患”越发严重，咸丰学习以往帝王们的做法，派出军机大臣赛尚阿作为钦差大臣，前往前线督战。
赛尚阿军机章京出身，历练多年，熟悉军机处业务。考取进士之后，官场上一帆风顺，混到了军机大臣。在当日，赛尚阿清正廉洁，提携后进，为士人所推崇。初登基的咸丰，对厚道老实的赛尚阿颇为信任，将他视作了往昔傅恒、阿桂一般的能臣，指望着他能力挽狂澜，扑灭战火。
选择赛尚阿至于前线领兵，主要是军机大臣中，他具有一定的军事经验。道光二十一年（1841），赛尚阿曾在天津构筑炮台，以防御英国人。此后赛尚阿在京训练鸟枪队，颇有成效，被赏给花翎。但赛尚阿的这点军事经验，却不足以扑灭太平天国，当时即有人指出“赛素不知兵”。
咸丰元年（1851）三月初十，咸丰以军机大臣赛尚阿为钦差大臣，授遏必隆刀，前往广西督战。为了给他壮行，咸丰给了他库帑二百万两。遏必隆刀颇有故事，乾隆年间，军机大臣讷亲征金川不克，死于刀下。此次咸丰祭出此刀，一者警告前方将领；二者此刀随傅恒经略过金川，咸丰希望此刀能带来好运，克敌制胜。对于此次出征，塞尚阿并无多大信心，出京之前，与军机处同僚告别时竟老泪纵横。
有见识者也知道赛尚阿此行凶多吉少，赛尚阿曾邀请翰林院侍讲铁林，作为幕僚同去广西。铁林却拒绝了邀请，并认为“伊此去必无成功，然天下之兵灾自此始矣。”军机章京王拯随同赛尚阿出征，也记下了当时京师的议论：“论者或以粤中股匪太多，未可日月以期事蒇，或谓元戎非济变才，亦未必能即时有功。”
出京时的声势还是浩大的，赛尚阿携带了七十五名小钦差（幕僚），二百四十名京兵。此时担任礼部侍郎的曾国藩，认为赛尚阿清廉公正，但带了这么多人出行，恐怕地方上不堪重负，“沿途办差，实为不易”。 然而，曾国藩日后的派头，却一点也不输给赛尚阿。
五月初二，太平军突围进入象州，咸丰大怒，下令革去周天爵官衔，同时拔去向荣、秦定三花翎，又命令赛尚阿到了前线后，详细调查将帅不和之事，并据实禀报。
在奔往广西的途中，得知清军连遭败绩的消息后，赛尚阿担心到了前方没有人才可用，就紧急上奏，请调正在湖南的前任浙江秀水知县江忠源前往广西军营效力，江忠源后来成为对抗太平军的一员大将。
六月初四，赛尚阿到达广西桂林，开始淘汰弱兵，严肃军纪，同时收买间谍，切断太平军后勤，将被裹挟的民众遣返。咸丰看了他的这些措施后大为满意，以为他能控制全局，很快班师回朝，又命军机处发去黄马褂、大小荷包、火镰，犒赏赛尚阿。
赛尚阿到广西时，太平军正从象州退回紫荆山。得知钦差大臣赛尚阿到了桂林，在前线的乌兰泰飞骑来见。赛尚阿对乌兰泰却极为冷淡，对随后赶来的向荣则优礼有加，这让幕僚感到奇怪。赛尚阿不喜乌兰泰，因为此前的系列战事中，心高气傲的乌兰泰连遭败绩，却又屡屡邀功。
清军绿营士兵
乌兰泰是满洲正红旗人，善于练兵，尤注重火器的使用，自诩为清军将领第一。向荣是甘肃固原人，少年从军，征战多年，战功显赫，每战必亲冒矢石，身先士卒，是清军中少有的勇将。天理教起义时，向荣率先攻入道口，脸被削去半边，此后缺了半边脸。向荣素来自恃骁勇，此时得到赛尚阿赏识，更是一心求战，以立下大功。
赛尚阿本人也求功心切，以乌兰泰、向荣各统军队，夹击太平军。至前线后，赛尚阿定下赏格，抓到洪秀全等太平军重要头目者，“给五六品翎顶，赏银二万两至八千两”。太平军针锋相对地给出了赏格，得向荣首级者赏千金，乌兰泰次之，赛尚阿的首级则赏银五钱，可见太平军对他的轻视。
太平军被围困在紫荆山内，向荣围堵后路，乌兰泰包围前方，都以为太平军走投无路。九月十一日夜，太平军从金田突围，经山间偏僻之路而出。得悉太平军突围的消息后，乌兰泰、向荣急忙领兵突进，试图拦截住太平军。
当日大雨，雨打的山间雾气弥漫。逶迤山路之间，山林苍苍茫茫。向荣领兵行走在山间，测算以自己的行军速度，定可赶在乌兰泰之前拦截太平军。行至官村时，全军已疲惫不堪，向荣遂令安营休息。大营尚未扎好，太平军突然来袭，向荣措手不及，被打的人仰马翻，手下猛将杨成贵战死。此战清军损失惨重，辎重被全数丢弃，向荣带着残部一口气逃到平南县城。此后，号称清军中每战必为先锋的向荣，竟然缩着不敢再出战。
击溃向荣之后，太平军分水陆两路进军，于九月底攻下永安，并在永安城外建立了炮台、壕沟、土垒等坚固防御工事。攻陷永安对太平军具有里程碑的意义。正是在永安，洪秀全举行了封王典礼，李秀成、李世贤等后来的中坚将领，也正是在永安加入太平军。
战败之后，向荣羞愧难当，又被拔去顶戴花翎，遂请了病假，回桂林修养去了。乌兰泰看向荣走了颇是高兴，再没人和他抢功了。赛尚阿见走了向荣，就起用都统巴清德，令他带领清军精锐，迅速前进至永安城，防止太平军攻击桂林。
永安周边均是险峻山脉，县城处于群山中央。太平军攻下永安后，没有及时抢占隘口。尾随太平军的乌兰泰，发现到太平军的失策，立即分兵占领永安周边各处险隘，将太平军团团围困。
围城之后，赛尚阿就近在阳朔主持了四次进攻。攻势最猛时，一度出动上万人作战，付出惨重代价之后，却未能攻下永安。围攻至十月中，清军屡战屡败，不能攻克永安。羞怒之下，咸丰命广东、广西地方官员将洪秀全、杨秀清等人祖坟彻底挖掉，以破坏其风水。
得知洪秀全祖坟被挖后，赛尚阿大喜过望，此时又逢冯云山老婆被抓。赛尚阿以为太平军气数已尽，就发起了第五次进攻。此次进攻照样失败，各路兵勇损失惨重。此后清军改变战略，对永安严密围困，不再发起强攻。
到了一八五一年年底，在桂林养病的向荣复出，赛尚阿也亲自到永安前线督战，两千斤大炮也被运到，并围绕着永安城修筑了炮台。清军炮火攻势猛烈，每日可发射三百余发炮弹，永安城内损失惨重，北门也被炮弹击毁。面对着清军炮台的威胁，太平军只能处于消极防御状态。为了打破这种局势，太平军对清军把守的炮台发起多次反攻。
咸丰元年十二月十二日，清军在炮台上眺望着前方。虽然永安近在眼前，清军的包围圈也如铁桶一般，但却屡攻不克。雾气朦胧之中，永安城门大开，大批人马涌出。让清军惊讶的是，被围困了这么久，太平军的大炮仍然拥有弹药，并不断对清军发起反击。实际上，自金田起义后，太平军曾试着铸炮，终因技术不过关而无法使用。在与清军的交战中，太平军俘获多门大炮，开始学习、改进铸炮技术。到此年年底时，太平军中已有相当数量的大炮。
此日的进攻，太平军以五千人对清军据守的要隘发起了全面攻击。对着如蚁流般蔓延而来的太平军，清军大炮发出了沉闷的轰击声，在弥漫的烟雾与火药味中，士兵们被刺激的头皮一麻。
此日围绕着炮台及周边的山岭一带，双方呈现出一片混战态势。这是一场力量的较量，也是一场意志的战争。太平军士兵多数来自于广西乡野之间，长期从事体力劳动，粗犷凶猛。在漫长艰苦生活之中，他们为了生存而奔走操劳，终年所得却不能一饱。加入太平军之后，他们怀抱着改变命运的希望，又受到太平天国理念深刻影响，手执藤牌，上下跳跃，刀光飞舞，拼死血斗。
刀光剑影之中，血肉横飞，山岭之上，早春寒气中，呐喊声响彻云霄。太平军发起了多次攻势，但未能拿下炮台。此后多日，太平军连续发起凌厉攻势，均被清军击退。太平军面临的问题是，兵员不足，后勤补给困难，缺乏大型火器，在多日攻势不能突围之后，暂时偃旗息鼓，固守永安。
赛尚阿与将领们对永安城的城防做了仔细研究，惊讶于太平军的严密防守。太平军中的一大批矿工，发挥了他们的所长。他们在永安城外修建了一道严密的防守工事，布置有炮台、壕沟、木栅栏等。由于火药匮缺，太平军开始自制硝，但却无法制作硫磺。太平军火药枪的铅弹也极其缺乏，每次清军攻势过后，落在地下的铅弹都被太平军细心地拾起。太平军炮台中虽有大炮，由于火药、弹丸缺乏，只在清军靠近时方才鸣放，炮手射击之精准，让清军也叹服不已。
在具备各种优势条件之下，清军仍然不能攻克永安。大年初一，乌兰泰、向荣到赛尚阿驻地贺岁，赛尚阿与向荣并坐于上，令乌兰泰下坐。乌兰泰受到此般侮辱，回到大营后恼羞成怒，要弹劾向荣误事，被江忠源苦苦劝住。
永安围城战持续大半年，太平军虽处于被动。但在永安，太平天国分封诸王，扩充军队，在与清军的频繁交手中获得了更多的军事经验，为未来的发展奠定了基础。被围半年之后，太平军开始突围。
永安城东十里处，有一条羊肠小道，直通昭平。此地要隘古苏冲，仅有千余战斗力较弱的团练防守，是清军围困阵线中的薄弱点。
到咸丰二年（1852）二月十五日夜，当夜大雨倾盆，太平军以罗大纲为前锋，率兵翻越山岭，突袭清军后方。罗大纲原为大湟江上水贼，强悍善战，清军团练一触即溃。太平军打开了出路，并获得了最为紧缺的火药。
二月十六日清晨，前锋紧急来报，永安城内太平军全军撤退。得悉太平军全军突围之后，乌兰泰、向荣也顾不上争执，令长瑞、长寿、董光甲、邵鹤龄等四总兵统领满汉精锐六千，先行追击太平军，乌兰泰、向荣则领大军在后接应。
二月十八日，清军行至龙寮坳，此处只有一条羊肠小道可以同行，走上坳口，需要攀爬几百米的陡峭石梯，石梯也仅能容一人通行。此处地势太过险峻，如果太平军设下埋防，则清军很难攻上。
太平军后卫逃跑心切，也无人在此设防。站上坳口，可以看到前方绵延的山路尽头，太平军正簇拥在一处山隘口。太平军后方只有二千余人，多为老弱。清军追上之后，这些战斗力低下的太平军仍各执刀枪，拼死抵抗，战死者有千余人。
