李鸿章一听，心里十分高兴，李鸿章想到上海人地生疏，不如直接回老家安徽招募淮勇。赶忙回话：“老师，谢谢你的栽培和信任！军队的事情我会想办法的，以前我在协办团练的时候积累了一些经验，还交往了一些朋友。先前您命我以您的名义在那里招募了一些淮勇到湘军里面来训练，我想这次我可以再回到皖北去招募一批力量。”
其实曾国藩很早之前就有建立淮军的计划，此次让李鸿章担当此任，应了天时地利人和。李鸿章有在安徽帮办团练的基础，加上在曾国藩身边多年，耳濡目染，学习到很多带兵之道，所以信心百倍，觉得自己一定能做好这件事情。
曾国藩点点头，说道：“嗯，我看这次就以你自己的名义去招人，到时候你的部队就叫做淮军。另外我把湘军里面的淮勇张遇春的春字营交给你，他原本就是你的嫡系，程学启统领的开字营两营兵力也给你，还有，再拨两营我的亲兵营给你，由韩正国统领。”
李鸿章对老师的周密安排十分满意，千恩万谢，于是急匆匆地到了合肥。
招兵买马练淮军（1）
合肥可是李鸿章的天下，亲朋好友都在那里。李鸿章原本就是个出名的人物，这几年在曾国藩幕府接受训练，更是名声在外了。因此这次回合肥招募部队，简直是一呼百应。
李鸿章把合肥西乡的一些办的不错的团练都聚集了起来。当时西乡三山的一些比较有名的民办团练分别是：周公山下的张树生、张树珊兄弟的张老圩；大潜山北的刘铭传的刘老圩；大潜山西南的唐氏兄弟的唐老圩；大潜山南的董凤高董老圩；紫蓬山的周氏兄弟的周老圩。此外还有一些官办的团练，如紫蓬山就有解先亮带领的叶志超等人。在上述团练队伍中，最能打仗的是张氏兄弟、刘铭传和周氏兄弟的三支。先此，他们三人曾效仿刘关张桃园三结义，发誓要做出一点功业来。当听说李文安的儿子李鸿章在辅佐曾国藩，张树生曾写信给曾国藩表达过豪情壮志。当时，曾国藩看完信后，对李鸿章说，此人犹如东晋的祖逖。张树生年龄较大，得过廪生的功名，是三个人中间的老大。
李鸿章在安庆招募的团练中，最早编练的就是张树生统率的树字营，刘铭传统率的铭字营。随后是周氏兄弟的盛字营和李鹤章招募的人。还有三河潘鼎新和庐江吴长庆的队伍分别被编为鼎字营、庆字营。树、铭、鼎、庆等各支队伍到达安徽安庆集合后，曾国藩提出要接见这些团练的头目。在张树生和刘铭传等十几个人来到曾国藩的大厅之后，2月22日，李鸿章移驻安庆北门城外营内，曾国藩亲临祝贺。曾国藩一直躲在屏风后面一个多时辰就是不出来，暗中观察他们的反应。这些人当中，刘铭传表现得最为愤怒，一直在大骂，而张树生表现得最有耐心。曾国藩认为这两个都是不错的将才。由于招来的人马大部分是新勇，缺乏实际作战经验，人数也不多，自然不足以保护上海。于是，李鸿章又从曾国荃那里挖来了程学启的开字两营，并请求曾国藩从湘军中调拨兵力给自己。这样，淮军初具规模，有了13个营，共6500人。3月4日，李鸿章陪同曾国藩检阅铭、鼎、树、庆和程学启、腾嗣林等营，标志着淮军正式建成。从此李鸿章有了一支自己独立领导的队伍，这支军队是帮李鸿章正式走上清末政治军事舞台的“拳头产品”。
1862年的上海，清明。天气暖暖的，还泛着点早春的潮气。街上的人们悠闲地享受着春天的气息，互相打着招呼，客客气气地各自行路，仿佛上海从来就是这般太平清静。
其实，从年初开始，太平军就对上海展开了猛攻。在高桥和七宝两大战役中，慕王谭绍光将上海道台吴煦打得溃不成军。上海告急！上海城里的洋人决定帮助清军，他们组织了一支拥有400人、3门炮的洋枪队。联军很快与太平军交上了火。第一仗果然旗开得胜，杀了千余太平军，俘虏了三百人。可随后发生的第二次战役，洋人就神气不起来了。太平军虽然伤亡不少，联军也死伤惨重，甚至英军司令都腿部中弹。
照此情形看来，上海是不会安宁了。表面上悠闲的上海人暗地里都在议论着，究竟会是太平军占领上海，还是清军和联军把他们打退？人们纷纷猜测，听说太平天国里女人不裹脚，男人不剃头，野蛮得很，上海人不喜欢；现驻上海的清军腐化堕落，一点军人的样子都没有，上海人也不喜欢；赖在上海的洋人飞扬跋扈，上海人更不喜欢。究竟哪种势力统治上海比较好，成为街头巷尾人们的谈资。
招兵买马练淮军（2）
“突突突突……”的声音从江面上传来，战争中的高度警惕性使人们心里一紧，慌忙朝黄浦江上望去。只见有2艘，又像是3艘，又好像更多的火轮船冒着浓浓的黑烟，从远处慢慢驶来。这是谁的船？是商船还是战船？船上运的是什么？人们纷纷揣测着。船驶近了，人们渐渐肯定这不是商船，因为每艘船的甲板上都站满了人，但又肯定不是客轮，因为甲板上的人都穿着同样颜色和款式的衣服。岸上的人也终于看清了船上的人，这些人的衣服破破烂烂的，上面布满了汗渍和油腻，已分辨不出原来的颜色。上海人注意到，船上来的人虽然大多衣不蔽体，但一个个倒是挺注意用布把头包得严严实实的。从他们衣服背部依稀缀着个“勇”字。看来，这是一支军队。这是谁的军队呢？驻上海的清军绝对不是这个样子的。他们官穿袍，兵着褂，腰间气派地插着排刀，身穿颜色鲜艳的号衣。这些人的长相又显然表明他们是中国人，并非洋军队；他们头顶前部也没有留头发，因此也不会是太平军。所有这一切，都让上海人摸不着头脑。他们奔走相告：“叫花子兵来了，叫花子兵来了！”
这支“叫花子兵”即后来大名鼎鼎、成为大清主力国防军的淮军，首领便是李鸿章。李鸿章从家乡招募了这支其貌不扬的军队，专程来支援上海清军对付太平军。李鸿章因个子瘦高及为人清高，还得了个“云中鹤”的雅号。
李鸿章组建淮军时，虽得到曾国藩支持而较为顺利，但也遇到了困难：一是军心不稳；二是缺乏统帅；三是粮饷不继。但总的来说，淮军的建立不仅扩大了湘军力量，而且也使李鸿章拥有了兵权，为其今后的军旅生涯奠定了基础。
淮军仓促成军，同湘军相比较，有不同的特点。
湘军初创之时，兵将均出自湖南，其组建原则是“选士人，领山农”。其将领主要是一些名利熏心而政治地位不高的地主阶级知识分子，“修身、齐家、治国、平天下”的传统人生信念在他们的头脑中根深蒂固，“忠君”思想极为浓厚。而曾国藩就是依靠程朱理学，以忠君报国的“真诚”、“血性”为精神支柱来统率湘军的。
在组建淮军的过程中，由于急于求成，队伍中成分复杂。李鸿章在任命统领时，看重能力，至于他们是否出身贫寒，是否有文化，都不是很在意。他鄙弃那些空有一肚子才学而不知世事之人，也不认为出身贫贱就低人一等，他甚至敢于任用盐贩子出身的人和太平军的降将。在淮军主要将领中，只有潘鼎新一人是举人出身，其余的如程学启是太平军降将，品德低下；刘铭传是贩卖私盐的头子，唯利是图观念相当浓厚，却不知多少忠君报国的大道理。至于兵勇来说，湘军士兵一般是山村朴实无华的农人，他们易于接受传统思想的灌输。而淮军主要兵源来自于团勇和太平军降众，可谓“兼收并蓄”，杂凑而成。因此，淮军虽也有浓厚的地方乡土色彩，但较湘军为淡，且其将领不学者多，无共同的最高理想，唯以功名利禄是图，因而军纪与精神远逊于湘军。但是，湘淮“本系一家，淮出于湘，尤有水原木本之谊”，因而湘军和淮军有基本一致性。如营制饷章、编制训练以及武器装备上，淮军与湘军是一脉相承的。总之，淮军既是对湘军的继承和发展，又不是简单重复；淮军既与湘军有相同之处，又具有本身特点。这与淮军所处客观历史条件和环境有关，也是由它的统帅李鸿章的建军、治军思想决定的。
淮军既已组成，如何从安庆开拔到上海是一个棘手的问题。安庆、上海两地不仅相距遥远，而且间隔太平天国控制区，要突破太平军防线，千里跃进上海，其艰险程度可想而知。曾国藩原拟令李鸿章率军由陆路进军，后因上海绅商出银18万两，雇得洋商轮船7艘开到安庆，为顺应上海绅民之情，李鸿章与曾国藩经过商议，最后决定“由水路东下，直赴上海”。
1862年4月5日至6月上旬，李鸿章统率的淮军13营6500人分三批由安庆顺江而东，躲过太平军的监视，抵达上海。临别安庆前夕，曾国藩担心李鸿章因缺乏阅历而摆不正“练兵学战”与“吏治洋务”的位置，因而他告诫李鸿章要把军事放在首位。在他看来，只有练就精兵，学会作战，才能站稳脚跟，飞黄腾达，否则将一事无成，甚至有丧失生命的危险。
他又针对李鸿章心高气盛、急躁、傲慢、任性的致命弱点，特以“深沉”二字相劝，其他好友也纷纷提出忠告。李续宜以“从容”二字规之，沈葆桢、李桓以“勿急”相戒。李鸿章深受教益，对于师友们的劝诫，“当奉为枕中秘”。
扶摇直上任苏抚（1）
李鸿章到达上海17天，清政府即于4月25日正式任命他署理江苏巡抚，仅仅过了7个月，又由署理而被实授为江苏巡抚。“从此隆隆直上”，几与恩师曾国藩“双峰对峙”。
李鸿章所以能够从一个遗缺道而骤膺封疆重寄，主要是由于他手握重兵和曾国藩举荐的缘故。清政府既欲借重李鸿章的淮军绞杀苏南太平军，又要依靠曾国藩集团保全东南大局。早在1861年12月26日曾国藩就在《查复江浙抚臣及金安清参款折》中，指责江苏巡抚薛焕“偷安一隅，物论滋繁”，“不能胜此重任”，并附片奏保李鸿章“劲气内敛，才大心细，若蒙圣恩将该员擢署江苏巡抚，臣再拨给陆军，便可驰赴下游，保卫一方。”清政府自然懂得曾氏用意，而李鸿章也十分清楚个中奥秘，于是致书曾国藩说：
十月二十五日（1862年12月16日）……戌刻接奉廷寄，十二日（12月3日）奉旨补授苏抚，恩纶奖励，非分宠荣。自顾何人，愧悚无地。此皆由我中堂夫子积年训植，随事裁成，俾治军临政，修己治人，得以稍有涂辙，不速颠覆，……实不知所以为报，伏乞远赐针砭，免丛愆咎。当时清政府任命薛焕为通商大臣，专办交涉事宜。但只过两月，清政府就调薛焕赴京简候，而令李鸿章署理通商大臣。这样，李鸿章就成为手握重兵、身兼巡抚和通商大臣要职的江苏实权人物。
人到中年的李鸿章，此时已是手握兵权、政权和财权的一方封疆大吏，其仕途“从此隆隆直上”，开始了他在晚清政坛上纵横40年的政治生涯。
要做到这一点，就必须妥善解决军事、吏治、筹饷和洋务等问题。于是他下决心冲破“险阻艰难”，闯出一个新局面，使出浑身解数，尽快扼杀农民起义。
李鸿章初到上海，就面临太平军第二次攻打上海。李鸿章知道，如果没有上海，自己的一切都将化为虚无。李鸿章也知道有太多的目光关注着自己，所以他丝毫不敢懈怠。他给自己提出“不要钱、不怕死”的六字方针，时时刻刻提醒着自己、鞭策着自己。由于淮军中大部分人都是农民，他们初到上海的时候，上海的官员商绅和外国人看到这支脚穿芒鞋、布帕包头、土里土气的队伍，都忍不住哈哈大笑。他们怀疑这样一支队伍能否担当起保卫上海的重任。为了自己也是为了这支刚刚建立的队伍将来的命运，李鸿章始终对淮军严格治理，加大训练强度，整顿军中纪律。
训练的内容主要有阵法操练和扎筑营盘。淮军每天在营房四周做防御工程，筑高墙，挖深沟。他们筑的墙高八尺，厚一丈，用土块和草袋垒在外面，里面是实土。墙上还有四尺高的子墙，上面有枪眼，士兵就守在子墙上面。墙外修了壕沟，配合绊马桩、梅花坑、铁蒺藜等障碍物。此外，淮军还有严格的体能训练，例如要求士兵能跳上一丈高的房屋，越过一丈宽的壕沟，抛火球要二十丈远，腿绑沙袋一天要走一百里。
纪律整顿方面，每天中午晚上各点名一次，规定士兵不许擅自出营。绝不允许吸食鸦片。李鸿章还不断设法鼓舞士气，士兵的精神状态良好，都盼着快点开战，好试试身手。
李秀成率领十万大军对上海进行第二次围攻时，上海的英法联军一再要求淮军协同作战，李鸿章对他们不予理会，要带领淮军进行独立的战斗，1862年6月，上海流行瘟疫，太平军很多人染上疾病，李秀成决定撤离上海。撤退之前，李秀成先围攻虹桥的程学启部。李鸿章带领队伍前去救援。
扶摇直上任苏抚（2）
这是淮军和太平军双方第一次交战，当时李鸿章带来的是树字营、春字营等。春字营很快就抵挡不住往桥边逃跑，李鸿章正坐在虹桥桥头督战。他一把抓住带队的张遇春对士兵下令道：拿刀来把他的头砍了！张遇春只好又带人往回冲。张遇春是李鸿章的旧部，是李鸿章十分信任的人。但在大敌当前的时候，李鸿章就毫不留情了。经过虹桥、北新泾、四江口三场战役，李鸿章率领淮军守住了上海，使得那些最初耻笑淮军是“乞丐兵”的人开始对淮军刮目相看。
立足之后，李鸿章开始整顿江苏省的吏治，并多方延揽人才。李鸿章认为，江苏和各省一样，官场腐败到极点，而上海尤为突出。
其特点是官吏不知礼义廉耻为何物。为了贪财捞钱，他们不惜媚外卖权，从中以饱私囊；为了满足一己之私欲，他们相互勾结，巧取豪夺，置国法而不顾。主观上李鸿章虽很想把江苏一省尤其是上海的官场腐败风气扭转过来，但在客观上却心有余而力不足。因为他初到上海，强龙难斗地头蛇，但为了求得淮军生存，他采取了“有选择地加以惩治”的办法，尽自己的能力对吏治进行了一番整顿。同时，李鸿章还起用了一批务实肯干、能力出众的人才，例如郭嵩焘、丁日昌等人。与此同时，李鸿章开始建立自己的幕府，幕府中很快召集了一大批各种各样有能力的人才。其中有精通数学、天文、机器制造的科学家；有懂得会计、钱谷之事的经济学人才；有熟悉兵法懂得计谋的军事人才等等。李鸿章用人是从实际需要出发，而且能做到人尽其才，最大限度地发挥调动幕僚们的积极性和能力。李鸿章还善于发现人才，上海那个钱鼎铭，也被李鸿章收归旗下，让他为淮军办理营务。这些人被李鸿章聚集在一起，齐心协力做好江苏的事情，做好淮军的事情，做好李鸿章交办的事情。
李鸿章做的另外一件大事，就是征集军饷。
曾国藩极力举荐李鸿章援沪，除了单纯的军事和政治目的外，还存在着以上海税收支助湘军的打算。上海自五口通商以后，工商业在外国货物的刺激之下日趋繁荣，海关洋税的收入日渐增多，但仍入不敷出，与所需差距甚大。为了解决这个问题，李鸿章果断采取了海关厘税分收分用的政策。
李鸿章用关税支付“常胜军”、中外会防局和镇江绿营的费用，用厘金承担湘军和淮军的军费。当时上海的厘金收取是全国最高的。厘金的税额是按照商品价格的百分比收取，值百抽一，百分之一为一厘。李鸿章认为，从商人手中多收点钱，胜过从农民身上收税。厘金的用途是“取之于民用之于民”，比从民间收税更方便。在李鸿章的多方筹措下，厘金大笔地进入了湘军和淮军的银库，从而使得军饷有专拨之款，更主动而有效地控制了饷源。不仅基本上解决了淮军的饷需问题，还以大批金钱和物资支助了湘军在西线战场的作战。
然而，曾国藩还不满足，希望李鸿章能筹集更多的军饷。李鸿章对于曾国藩的推举一直心存感激，所以对于曾国藩交办的事情尽心尽力地去做，并未因自己得势就弃曾国藩而去。相反地，他比当幕僚的时候更加服从曾国藩，体现了顾全大局的一贯行为方式。在上海半年，李鸿章就为曾国藩筹集到军饷9万两。此外，他还给曾氏兄弟送去大批武器，支持他们的军需装备。
扶摇直上任苏抚（3）
当时，江苏的吏治特别坏，其中以前江苏布政使王有龄（时为浙江巡抚）为罪魁祸首。王有龄提拔的几个干部如苏松太道吴熙、苏州知府吴云、苏松粮道杨坊等都是贪污腐化分子。做了一番深入调查之后，李鸿章开始采取行动。他让吴熙管理关税，以前归吴熙管理的厘金改由幕僚薛书常管理。接着要求吴熙要做出明确的账目定期汇报，吴熙只好开始做假账，以求蒙混过关。
有一天，李鸿章喝酒之后，来到吴熙家中。对吴熙说：有人说你账目不清，现在总理衙门正要查你呢。你告诉我实话，你的账目有没有问题？如果你真有问题，那我想办法帮你找人疏通一下。吴熙看李鸿章喝多了，于是心里没有任何怀疑，拿出账本交给李鸿章说，你看看吧。李鸿章看了一会儿说，我今天喝酒喝得头疼，看不清楚。我回去好好帮你看看账面怎么样？吴熙就这样把自己的罪证交给了李鸿章。李鸿章回去后，马上找了几个精通会计的幕僚仔细审核，发现了账目中的很多问题。第二天，李鸿章就轻易地收拾了吴熙，改派黄芳和刘郇膏掌管海关和布政使司。刘郇膏以前在上海当县令的时候的声誉较好，被百姓称为“刘青天”。他还是李鸿章的同年，李鸿章对他比较了解。杨坊看到李鸿章收拾了吴熙，吓得主动辞去了苏松粮道的职务。李鸿章把这个职务交给了自己的老同学郭嵩焘。
虽然李鸿章使用一些被他称为“君子”的人管理财政机构，但是出于策略上的需要，他还任用了一些例如金鸿保这样声名狼藉的人物帮他做事，因为金鸿保同地方上的各种要人都有广泛的关系。李鸿章需要利用这些关系维持和壮大自己在江苏地区的势力。此时，作为地方行政最高长官，李鸿章注意到了一个问题，就是地方经济建设的问题。由于连年战争，百姓生活穷困，还有大批无家可归的流民。李鸿章首先在战后地区恢复农业经济，减免田赋，还给农民发放耕牛和种子，给饥民发放米钱。在未直接受到战争影响的地区，向地主官绅收取新税，用这些税金补贴对农业费用的开支。
李鸿章还向朝廷提出举措，指出大户和小户之间的税率差别一定要改正，建议取消对大户的一些优惠政策。李鸿章在财政管理上一直倾向于从商人、地主、豪绅的手中获取钱财。他的这些措施多少减轻了当地百姓的负担，人民生活状况有所改善。但是，在整个经济建设中，仍出现了很多问题。比如说大户抗税，一些贪官污吏趁机横征暴敛，还有很多无法得到保障的百姓仍然生活在颠沛流离之中。
李鸿章还使科举制度重新焕发了活力，他增加上海及临近地区的乡试名额，并在苏州设立新科。他还在苏州重建了两个书院。1861年之后，忙于政事军务的李鸿章已经很少写诗，还放弃了收藏书法作品的爱好，而是把更多的精力放在实际工作中，放在那似乎永远也处理不完的事情上。在以后洋务运动时期，李鸿章在给朝廷写的一封信上说了这样一句话：中国的士大夫每天沉醉于文章的词句和练习写小楷字，而武将多半是粗俗愚蠢之人。由此可见，这个时期的李鸿章已经看出：一个永远把精力放在练习写小楷字上的民族是不可能强大起来的。
在外交上，李鸿章尽力利用洋人势力以为我用。淮军抵沪之初，太平军势力锐不可当，李秀成的部队包围了上海附近的青浦，进逼虹桥，距上海城仅20公里。
扶摇直上任苏抚（4）
上海形势一度处于危急之中，李鸿章决定趁太平军尚未立定根基之时，1862年6月中旬亲督淮军“春”字、“树”字等营分路坚守苦战虹桥、徐家汇等地。
结果连战皆捷，三百余名太平军将士被捕杀。随后，李鸿章率兵进占泗泾，迫使李秀成部太平军退弃广富林军处，松江之围遂解。此战，是李鸿章在没有洋兵协助下驻沪第一场胜仗，不但使清政府在上海的统治秩序得以稳定，而且使李鸿章对于统率新成立的淮军提高了信心，同时也为淮军在洋人面前争得了面子。
1862年10月，正当曾国藩兵围南京，李秀成奉命率所部太平军由苏州回援的关键时候，李鸿章勾结英法侵略军和常胜军合攻嘉定获胜。不久，李鸿章又亲赴前线调集常胜军和淮军各路与太平军激战于四泾口处，迫使太平军谭绍光等部再次退回到苏州。
通过此次战役，淮军进一步巩固了上海周围的统治地位。与此同时，李鸿章加紧对东线太平军的瓦解工作。1862年，李鸿章利用早就与太平军败类暗约里应外合的徐佩瑗等人密谋策划，蓄意制造太平军内乱。太平军将领谭绍光发现有异，逮捕了徐佩瑗，但骆国忠于1863年1月发动叛乱。此时，李秀成从天京返回苏州。针对这种情况，李鸿章采取了四处出击战术，一面令骆国忠坚守常熟，一面攻打太仓，于5月攻占太仓。太仓失守后，李秀成部被迫放弃原定“进北攻南”计划，赶回救苏州。1863年6月，李鸿章决定采取兵分南北中三路，“以剿为堵”、“规取远势，以剪苏州枝叶，而后图其根本”的战略。
这个战略计划在获清政府允准后，各路展开了全面合围苏州的攻势。太平军方面，李秀成从天京赶回苏州制定了兵分四路进攻上海、昆山、常熟、江阴的主动破敌计划，但由于太平军内部分化，此计划未能付诸实施，太平军陷入消极防御，被动应战境地。
1863年7月，苏州与杭州的陆路通道被常胜军和淮军程学启部切断；9月，江阴又被淮军李鹤章、刘铭传部攻占。11月下旬，各路淮军与常胜军配合，猛攻苏州娄门，但久攻不下，于是李鸿章策动太平天国纳王郜永宽等于12月发动叛变，杀害了谭绍光及手下兵将数千人，郜永宽等公开投入李鸿章怀抱。然而，当时淮军军心不稳，加之苏州城内尚有十万太平军立誓决一死战，李鸿章背信弃义，把郜永宽等投诚兵将统统杀了。这时，李鸿章因功被清政府赏赐太子少保衔。
后期太平天国政权失去外围最后一个坚强军事据点苏州后，使得清军能集中兵力围攻天京。天王洪秀全错误估量形势，仍决定固守婴城，与清军硬拼到底。1864年5月，李鸿章采取主动的战略部署，攻占了常州。随后，李鸿章感到太平军败局已定，于是除了把“常胜军”精锐归为己有外，其余的都尽行遣散。
李鸿章在苏抚期间，还与赵家缔姻，完成了再婚这桩终身大事。他的原配夫人周氏生有二女，名曰镜蓉、琼芝，因膝下无子，其弟昭庆便把经方（李昭庆之子）过继给他。1861年夏，李鸿章在重返曾幕路经万年（江西饶州府）时，曾赋诗寄怀，诗云：
半生失计从军易，四海为家行路难。
唯有娇痴小儿女，几时望月泪能干。
阿爷他日卸戎装，围坐灯前问字忙。
天使诗人卧泉石，端教道韫胜才邮。
他以生动的笔触，抒发了投笔从戎、前路崎岖的感慨和思念女儿的骨肉之情，反映了渴望早日结束战乱、重享天伦之乐和娇女成长为像东晋女诗人谢道祖那样“咏絮才”的心声，情真意切，凄楚动人。不料，是年9月周氏去世，两个女儿失去了母亲，爱妻去矣，娇女孤，突如其来的打击，使李鸿章肝肠忧煎，感伤不已。在此后的两年多时间里，由于戎马倥偬，使李鸿章无暇顾及个人婚事。1863年12月，李鸿章在夺取并移驻苏州之后，认为苏南战事即将胜利结束，重建家庭的时机已经到来，因而便于1864年1月迎娶赵氏为继室。
顾大局天京让功
湘军攻打天京许久了，一直没有什么结果。清政府看到淮军作战有力，便让李鸿章部前去协助。在解散“常胜军”后，李鸿章本可以全力以赴会攻天京，而当时统军攻打天京的湘军大将，正是曾帅的胞弟曾国荃，他害怕因分功而得罪曾国藩，于是仅派遣淮军刘士奇炮队及刘铭传等营援攻天京，他本人及淮军主力却驻防天京外围一带。说起曾国荃，他和李鸿章还有一点小过节。
早在李鸿章刚投奔曾国藩的时候，曾国藩派李鸿章去曾国荃处办理营务。李鸿章为了对这位老师的弟弟表示尊重，特意拿出一把纸扇，请曾国荃题字留念。曾国荃居然得意洋洋地写了“门多将相文中子，身系安危郭令公”十个字，而且字体欠佳，歪歪扭扭。李鸿章看了之后嗤之以鼻，心想你不过是个秀才，还敢自比郭子仪！真是大言不惭。所以没待几天他就告辞了。
李鸿章到上海后，曾国荃一再向李鸿章催促粮饷，弄得李鸿章很烦。再加上在几次调用人才的事情上，和曾国藩兄弟意见不一致，李鸿章和他们闹的不是很愉快。有这样几桩事情压着底儿，可急坏了向来好大喜功的曾国荃。一方面，他担心李鸿章来攻天京，会和自己抢功，这是他不能允许的；另一方面，他也清楚现在淮军的力量已经今非昔比，可能会很快收复天京。这样一来，自己这两年多的苦战不就白费了吗？殊不知，这时的李鸿章并不想因此得罪曾氏兄弟。于是，李鸿章就装起病来，在苏州、常州按兵不动，写信催促曾国荃快点行动。并说，自己准备掉头南下去攻打浙江。结果这又惹恼了闽浙总督左宗棠。左宗棠认为李鸿章是有意越境和自己抢功，这样，左、李二人之间又产生了矛盾。
李鸿章实在抵抗不住清政府的再三催促，于是写信给清政府报告自己的攻城日期，然后告诉曾国藩让他们早些行动，自己继续观望。李鸿章手下的将领不知道他的心思，个个摩拳擦掌，准备大干一场。大将刘铭传对李鸿章说，我们淮军的大炮只要一开，不到三五天就一定能将天京拿下！
1864年7月19日，就在李鸿章出兵的前一天，曾国荃部用地道埋炸药，轰塌了城墙，一举攻克天京。曾国荃终于拿到了梦寐以求的“首功”。事后，曾国藩拉着李鸿章的手说：我弟弟的面子，是靠你给保住的，我们得谢谢你。
李鸿章虽然没有会攻天京，但却对湘军攻陷天京发挥了重要作用。事后清政府“论功行赏”晋封李鸿章为一等毅伯爵，并赏戴双眼花翎。至此，李鸿章从一个怀才不遇的儒生，一个手中无兵无权的幕僚，踏着太平天国将士的鲜血，最终挤进了清王朝封建统治集团的核心，成为一个令朝野刮目相看的重要人物。
由此看出，李鸿章做事很有原则，他不愿意为了争夺眼前的小利益，就去破坏已经存在的某种秩序或者关系，这也显示出了他的高瞻远瞩和大将气度。就这样，曾经轰轰烈烈的太平天国农民运动终于被清政府镇压。然而，“内患”却远没有消除。南方的太平军余部，北方的捻军，还有西北的少数民族起义还在继续活动着。
讲求洋器欲自强
还是在安庆的时候，李鸿章就开始接触外国人的洋枪洋炮，还有那些威力无比的远洋战舰与船队。到达上海之后，李鸿章不无惊异地发现，堂堂大清上海的防卫力量，竟是由英国人、印度人、法国人组成的三千人的洋人军队。这支军队是由上海商人和绅士出钱养着的外国雇佣军。该军1860年正式组建，由美国人华尔出任指挥。1862年，被清政府命名为“常胜军”。这个华尔，后来还娶了杨坊的女儿，加入了中国籍。
“常胜军”的武器都是西式的来复枪和榴弹炮，李鸿章看着这些硬邦邦、冷冰冰的“利器”，不禁惊叹它们的神奇力量，并逐渐对这些“利器”产生了极其热烈的向往。为此，他还化妆成百姓，亲自到上海的外国军舰上参观。李鸿章在文章中写道：我观察我们中华民族和外国人的种种，包括历史、制度和文字等等方面，外国人唯一比我们强的就是他们先进的武器装备。如果我们中国人将来也有自己的先进武器，那我们就再也不用害怕外国人了。
由华尔所率领的“常胜军”连连挫败雄风依旧的太平军这一事实，使李鸿章深深地感受到了洋枪洋炮的巨大威慑力，同时也不得不生出空前的危机感。李鸿章明确提出：大清现在的大患是太平军，将来更长久的大患必是洋人无疑。所以他要求自己的军队不能依靠洋人，一定要“自强”，而最初的自强之道，就是所谓“讲求洋器”。
在李鸿章着手以“洋器”装备淮军时，首先遭到曾国藩的反对。曾国藩一向认为，用兵在人不在器，而且怀疑洋枪洋炮的作用是否有李鸿章说得那么厉害。李鸿章不便强烈回驳自己的恩师和统帅，只是在回信中委婉地表示，我是想学习洋人的一点儿“密法”，希望能增强淮军的战斗力。
在1862年5月给曾国藩的信中，李鸿章谈到世界历史说，以前俄罗斯和日本因为不知道大炮的厉害，所以国力日益衰退，自从他们从英法学到武器的制造术后，便逐渐能和英法比高下。除此之外，李鸿章日益感到淮军势单力薄。他考虑到从老家招兵不方便，所以除了在当地招募了一些新兵之外，把淮军主要来源放在改良以前的防军上。他还收编了一大批太平军的人马，用以扩大和充实淮军力量，而且收编的降军力量远远超过改编的防军。这是李鸿章有意采取“以毒攻毒”之策。
此时李鸿章还开始组建自己的水师。最早的淮军水师起建于安庆时期，那时候有五只大船。到达上海之后，李鸿章改编了上海旧的水师防军和苏嘉地区的部分船队，还有其他一些零散的力量。他还统率着淮阳水师和太湖水师。这样，李鸿章的淮军便达到了水军4万人，陆军7万人的规模。
最初李鸿章训练淮军，基本上也是按照以前训练湘军的那一套办法，特别是每天要带领士兵唱“爱民歌”，这都是曾国藩的创意。湘军虽然拥有洋枪洋炮，但是很少使用。李鸿章则请洋军官进入淮军大营，帮助实际操练，让士兵学习洋枪洋炮的使用方法。从此以后，淮军这支湘军中最早的分支部队，开始和湘军有了诸多的差别。李鸿章就率领着这样一支队伍，开始了对太平军更猛烈的进攻和更疯狂的剿杀。
固我边防建海军（1）
1840年，英国殖民者发动了侵略中国的鸦片战争。1842年8月29日，清朝政府在英国侵略军的舰炮威逼下，接受了丧权辱国的《南京条约》，中国由此开始沦为半殖民地。清朝军队在鸦片战争中的屡次失败和《南京条约》的严酷现实，促使清朝统治集团中的一些有识之士睁开双眼，开始观察外面的世界。
抗英名臣林则徐和思想家魏源大胆发出了“师夷长技以制夷”的呐喊，要学习西方国家“坚船利炮”等先进的科学技术以抵御外来侵略，并初次提出了创建近代海军的草案。1856至1860年，英法两国联合发动第二次鸦片战争。英法联军的海军舰队在中国万里海疆如入无人之境，清政府在又一次的“创巨痛深”的危局中，开始着手兴办近代海军海防，但很快就因受到挫折而止步不前。
此一时期，我们的东邻日本，正是“明治维新”之后，政治、经济、文化、军事逐渐发达强大起来的时期。当李鸿章还在江苏的时候，日本就多次派员到淮军军营考察学习，李鸿章也曾受到日本积极学习西方军事的启发，发展洋务。同时，他又随时关注着日本的不断强大，感到日本对于中国是一个潜在的威胁，中国应该提高警惕。明治政权在不断废除不平等条约的同时，开始蓄谋向亚洲邻国进行侵略扩张，对中国、朝鲜、琉球等国虎视眈眈。同治九年（1870年），羽翼尚未丰满的日本看到列强纷纷在中国谋取利益，便派外务大臣柳原前光到中国来试探，李鸿章接见了这位外交使臣。
柳原前光只是试探性地提出请求两国友好通商，李鸿章这时的心思是，中国近年来饱受西方列强的侵略，要是与日本建立合作关系，就可以联手对付西方侵略者。
柳原前光回去之后，日本政府又派代表来中国与清政府谈判，但是并没有像李鸿章想象的那么简单，日本提出要求中国给予片面最惠国待遇，在中国内地通商，与西方诸国一体利益均沾。李鸿章一看日本如此狂妄，气不打一处来，他坚决不理会日本的要求。这时的日本虽然野心勃勃，但是毕竟羽毛未丰，没有实力对中国施加武力。最后双方签订了《中日修好条规》和《通商章程》，除了在指定通商口岸贸易之外，还规定双方不得侵犯“邦土”，遇有外敌侵略应该互相帮助。这一条约基本是按照李鸿章的设想签订的，打破了日本染指中国的幻想，还在表面上建立了中日联合的东方阵线，一定程度上有利于抵御西方侵略。
不过日本政府对此非常不满，随后又派柳原前光来找李鸿章交涉，要求改签条约，谋求更多的利益。李鸿章大为光火，将柳原大骂一顿，柳原见无隙可乘，只得灰溜溜地跑回国。但是日本并不甘心，暗地里伺机另找突破口。
机会终于来了，同治十一年（1872年）底，有琉球船只因遇飓风漂到台湾，被台湾高山族误杀船民50多人。第二年初，日本小田县四人漂到台湾，也因被误认为是外敌入侵而被岛民所杀。琉球是中国的藩属国，台湾则是中国的领土，本来与日本无关，但日本却趁机要挟中国，企图进占台湾。
日本政府派柳原来中国换约，柳原知道李鸿章的态度强硬，所以他没有与李鸿章接触，而是直接跑到总理衙门指责台湾岛民杀害琉球船民，并声称琉球不是中国的藩属国，而是日本领土，并要求中国严惩台湾凶手。柳原的这一无理要求遭到了总理衙门的驳斥。日本见无理要求没有奏效，就开始寻求武力解决。一年后，在美国的帮助下，日本悍然出兵占领了台湾的东部琅娇。
固我边防建海军（2）
英国驻华公使见美国帮助日本独自插手侵略中国，大为不满，一方面提出抗议，一方面将这一消息告知清政府。清政府在李鸿章的建议下，派福州船政大臣沈葆桢为钦差，率军万人前往台湾弹压，并带淮军刘铭传及船政监督法国人日意格协助。
日本此时并无实力与中国正面交战，于是又派柳原前光与清政府谈判，企图通过外交手段获取利益。他们除了要求所谓惩凶之外，还索要军费白银200万两。结果又被李鸿章一顿臭骂，柳原灰溜溜跑回日本。
日本派内务卿大久保利通继续与李鸿章谈判，此时清政府与李鸿章也想尽快和平解决，加上西方列强为各自的利益也出面调停，最后双方签订了《北京专条》：日本从台湾撤兵，中国承认日本侵台是“保民义举”，给日本抚恤银50万两。
《北京专条》的签订，除了让日本试探到了清政府的底细之外，还给日本吞并琉球留下了隐患。因为条款当中，清政府并没有明确中国与琉球的宗藩关系，而是承认了日本的“保民义举”，同时也使得列强更加感到清政府的无能。
1874年，日本寻找借口出兵侵犯台湾。此事虽以和议告终而未开启更大战端，却在中国朝野上下引起更强烈的震动。由此，在内部引发了一场轰轰烈烈的“海防大讨论”。1874年11月，总理衙门的文件中强调了海防的重要性和紧迫性，并提出“练兵”、“简器”、“造船”、“筹饷”、“用人”、“持久”等办法。请沿海各省的督抚和将军进行讨论。
此时身任直隶总督兼北洋大臣的李鸿章，呈交了洋洋万言的《筹议海防折》，陈述了海军海防大业的重要战略意义，要求大举兴办近代化的海军海防。李鸿章首先分析了中国所面临的前所未有的严酷形势：历代备边，多在西北。其强弱之势，客主之形，皆适相埒，且犹有中外界限。今则东南海疆万余里，各国通商传教，来往自如，麇集京师及各省腹地，阳托和好之名，阴怀吞噬之计，一国生事，万国构煽，实为数千年未有之变局！轮船电报之速，瞬息千里；军器机事之精，工力百倍。炮弹所到，无坚不摧；水陆关隘，不足限制，又实为数千年来未有之强敌！李鸿章还痛切指出了处理国际关系的根本是在于国家之实力：“洋人论势不论理，彼以兵势相压，我等欲以笔舌胜之，此必不得之数也”。他又指出历史时机的紧迫性——“正值海防吃紧之际，不特为外人所窃笑，且机会一失，中国永无购铁甲之日，即永无自强日！”
李鸿章在奏折中还阐述了关于海防的具体实施办法。提出中国应以陆军为主，海军设立南洋、东洋、北洋三支水师。左宗棠提出不同的意见，他认为，现在大清国应该实施“东则海防，西则塞防，二者并重”的意见。他认为，如果设立三支水师，那么将导致领导的不统一，三支水师会各自为政。他建议，海军应该统一领导。
李鸿章和左宗棠的分歧在于，李鸿章认为西北塞防可有可无，甚至可牺牲新疆作为代价。而左宗棠认为西北边疆十分重要，塞防不固，则西北屏障尽失。当时清政府面对的局势是沙俄侵占伊犁，阿古柏占据新疆，收复新疆迫在眉睫。1874年底，同治帝病死，光绪帝继位，慈禧再次垂帘听政。次年，海防讨论进入了廷议阶段。以奕为首的总理衙门既没有采纳李鸿章的意见，也没有赞同全力注重西征的主张，最后作出“海防”、“塞防”并重的方针。令李鸿章负责海防，令左宗棠去负责“塞防”问题。
固我边防建海军（3）
左宗棠在稍后的奏折中，看似支持朝廷意见，实际是主张全力西征。在他看来，海防没有现实的危险，“窃维泰西诸国之协以谋我也，其志专在通商取利，非必别有奸媒……商贾计日求赢，知败约必碍生计也，非甚不得已，何敢辄发难端。自轮船开办，彼挟以傲我者，我亦能之；而我又博心抑志，方广求善事利器益为之备；谓彼犹狡焉思启，顾而他之，似亦非事理所有。”显然，左宗棠认为西方各国无意侵犯，而中国已有足够的准备，海防不足为虑。言外之意就是应该全力西征。
李鸿章则认为当时的主要危险来自漫长的海疆，尤其是京津和沪宁是国家的腹心所在，一定要以海防为重点。但是，李鸿章没有考虑到，西陲有事应在短时间内集中人力物力先行解决。左宗棠的成功就在适应了这一需要，虽然他对海防形势的估计未免过于乐观。当时清政府的财政非常困难，只好把能够动用的财力主要用于西征。李鸿章在“海防大讨论”以及后来关于海军海防的竭力倡言，为近代中国海军海防建设起到了有力的推动作用。
在以李鸿章为代表的务实派高级官员们的努力倡导下，清政府建成了福建、北洋、南洋和广东4支小规模的海军舰队。然而，法国侵华远征舰队于1884年8月中法马尾海战中，竟然全歼了最早组建的整个福建海军。中法战争刚一结束，光绪帝就郑重发布了大力扩充海军的上谕：“自海上有事以来，法国恃其船坚炮利，横行无忌。我之筹划备御，亦尝开立船厂，创立水师。而造船不坚，制器不备，选将不精，筹费不广。上年法人寻衅，迭次开仗，陆路各军屡获大胜，尚能张我军威；如果水师得力，互相援应，何至处处牵制。惩前毖后，自以大治水师为主！”随即，光绪帝下谕设立了总理海军事务衙门，简称海军衙门。
海军由此成为国家的正式军种，近代中国的海军海防事业开始步入正轨的发展时期。光绪帝的生身父亲醇亲王奕譞（xuān）亲自出任总理海军大臣，而一直力主大举兴办海军的李鸿章出任会办海军大臣，具体掌管全国海军海防建设大业。
李鸿章在担起筹建北洋水师的任务后，全身心投入海防建设，购买船舰，兴办水师学堂，建设大沽口、旅顺口、威海卫军港基地，起用著名科学家徐寿之子徐建寅等一大批中外专业人才。光绪元年（1875年），日本入侵中国的另一个藩属国朝鲜，第二年逼迫朝鲜签订《江华条约》，解除中国与朝鲜的宗藩关系；光绪五年（1879年），日本吞并琉球，改设冲绳县。惨痛的事实一次次震动着清政府朝野，从而也促使了海军建设的加速。尤其是中法战争期间，马尾军港被法军炸毁，福建水师全军覆没，促成了海军衙门的建立，慈禧命醇亲王奕譞授总理海军事务，庆郡王奕劻、李鸿章为会办，汉军都统善庆、兵部右侍郎曾纪泽为帮办，其阵容相当庞大，而李鸿章则是北洋海军的实际权力掌握者。
