汉尼拔试图通过对意大利最南部城镇雷焦（Rhegion）的突袭来弥补卡普亚战败的损失。然而，就如同他进攻塔伦图姆的罗马要塞一样，这次军事行动依旧未能取得成功。因此，汉尼拔不得不带着未竟的事业撤回位于卢卡尼亚（Lukania）的冬营（公元前211年）。
次年，出现在他面前的是叙拉古征服者、罗马执政官马尔库斯·克劳狄乌斯·马塞勒斯。他通过占领萨莫奈人的城市马若涅亚（Maronea）以及梅莱斯（Meles）成功地开始了自己的行动。之后不久，他又顺利地将阿普利亚人的城市萨拉皮亚（Salapia）收入囊中，其中还包括500名守城的努米底亚骑兵。
然而，公元前210年汉尼拔在赫多尼亚（Herdonea）地区摧毁了罗马将军奈维乌斯·弗尔维乌斯·桑图马卢斯（Gnaeus Fulvius Centumalus）的两个军团，这再次充分展现了他的军事能力。尽管遭遇了一些挫折，但是迦太基军队的军事效率及其领导人的战略眼光依旧出众。
克劳狄乌斯·马塞勒斯一直紧追汉尼拔，直到对方退回卢卡尼亚的冬营。赫多尼亚战役中损失的士兵多为拉丁裔，这本身就给罗马带来了一些骚乱。当他们在公元前209年想要再次征兵时，有12个拉丁城市拒绝加入这场对抗汉尼拔的战争。意大利同盟内部出现明显的裂痕，这对罗马来说是一次严峻的考验。
公元前209年，费边·马克西姆斯第五次出任执政官，再次承担起了对抗汉尼拔的职责。他的计划是让克劳狄乌斯·马塞勒斯去追踪汉尼拔，而自己则出兵塔兰图的罗马城堡，解救被困多年但仍坚守阵地的罗马军队。
汉尼拔的军队与马塞勒斯的军队在距离如今卡诺萨（Canusium）不远的地区发生了激烈的战斗，罗马人不得不再次接受惨败的结局。与此同时，费边·马克西姆斯却能专注于对塔兰图的围攻。
一周之后，对塔兰图的总攻从各个方向展开，塔兰图人的防线最终被击溃了。和叙拉古一样，塔兰图遭到了洗劫，约3万人沦为奴隶。被抢夺的贵金属器物以及艺术珍品数不胜数。试图解救塔兰图的汉尼拔急速行军，但为时已晚，他并没能阻止这场于他而言十分敏感的挫败。
然而，汉尼拔的意大利战略很大程度上取决于西班牙的战况。公元前210年底，当普布利乌斯·科尔内利乌斯·西庇阿登陆西班牙时，他要面对的是三支迦太基军队。因此，他最初并没有选择与占据优势的对手直接对抗。也许是联想到汉尼拔出其不意的惊世壮举，西庇阿决定进攻敌人的总部——新迦太基（公元前209年）。这次突袭发生时，迦太基军队均驻扎于偏远地区。部队的转移并不是因为迦太基内部领导人的不团结或是相互之间无法协调行动，这一点和西庇阿设想的有所偏差。汉尼拔兄弟马戈的军队驻扎在加的斯附近的韦尔瓦，那里是全国最具生产力的矿区之一；基斯戈（Gisko）之子哈斯德鲁巴的军队则选择在塔古斯河口（Tajomündung）扎营，这也与确保并促进迦太基的战争经济发展有关；而由汉尼拔的兄弟哈斯德鲁巴领导的迦太基大军则在卡尔培塔尼展开防御，以保护其他部队的侧翼，同时防止对手进攻安达卢西亚。迦太基人的错误在于完全没有想到对手会直接进攻新迦太基，因此并未对其做任何防御准备。
对新迦太基的突袭是一次异常大胆的军事行动。希腊历史学家波里比阿撰写了一份详细的报告，通过这份报告我们可以重建本次行动的部分细节。西庇阿带领军队突然出现在新迦太基的城墙之外，并在短暂的围困之后成功破城。西班牙骄傲的统治者——迦太基人这一次也不得不接受被残酷掠夺的命运。这次突袭给迦太基带来了极其巨大的心理影响。西庇阿一击致命，除了大量的战利品、资金储备、武器以及供给物资外，迦太基为控制西班牙挟持的当地人质也都落入西庇阿手中。这是一笔宝贵的财富，通过适当的处理，西庇阿就能由此获得西班牙人民的支持。
罗马人在西班牙取得的进展改变了整个战局，胜利的天平不再向迦太基人倾斜。汉尼拔面临的任务异常艰巨。那些转投汉尼拔阵营的意大利城市对他来说是一柄双刃剑，其造成的问题正日益增加。事实就是大多数加盟的是那些原本散落在危险的敌对环境中的独立城市，而城市联盟很少会选择冒险背叛罗马。这给迦太基军队带来了相当大的供给问题，使军事行动变得更加困难，尤其是本就有限的精力还不得不用来应对过于分散的威胁。如果汉尼拔希望维持自己的威信，他就必须给这些新加入的伙伴提供保护，但也正是这项义务限制了他的行动自由。在意大利盟友数量大幅增加的压力下，汉尼拔不得不采取进攻措施。每当获得新的盟友，他就必须为其提供保护。但他的军队实力还不足以胜任这项附加任务。当罗马人意识到汉尼拔正面临如此困境之时，他们吸取了之前的教训，放弃与其进行正面交锋，而是不断收紧包围圈以持续制造压力。面对这样的政治及军事限制，汉尼拔逐渐失去了战争主动权，无奈陷入了“游击战”的泥潭。
公元前208年，意大利南部的战役就很好地印证了这一点。汉尼拔陷入了与克劳狄乌斯·马塞勒斯的缠斗，而另一支罗马军队则可以借机攻占洛克里（Lokroi）。然而，罗马军将领的粗心大意导致了计划的失败。迦太基人突袭罗马军队，多次交锋后成功地击退了对手。克劳狄乌斯·马塞勒斯也战死沙场，汉尼拔对他表达了最高的敬意。然而，这些行动并未带来实际效果。汉尼拔需要增援才能逆转意大利战局，而随着战事的推进，这样的帮助只可能来自西班牙。
公元前209～前208年，西班牙发生的一切很大程度上受到了意大利战况的影响。与罗马军队进行了一段时间的对抗之后，迦太基人的西班牙领土仍基本保持完整，此时他们更倾向于在意大利执行一个新的作战计划。但西庇阿成功占领了新迦太基并立刻开始对南西班牙地区发动进攻，这一切给迦太基人的军事规划带来很大的困难。迦太基人希望集结一切可用力量在意大利取得新的突破。常年征战带给罗马及其盟友的疲惫，以及意大利北部利古里亚与凯尔特人部落的合作，一切因素都被考虑在内。很显然，迦太基人的意图便是在意大利建立一个新的战略据点。汉尼拔可以在那里和哈斯德鲁巴率领的西班牙军队会合，进而为整场战争带来决定性的转折。与此同时，马戈也在招募更多的增援部队。基斯戈之子哈斯德鲁巴则继续在西班牙统领留下的部队对抗西庇阿。但是西庇阿极具侵略性的作战很大程度上破坏了这一计划。公元前208年，当西庇阿意识到自己的实力已经足以进一步向南方进军时，他果断选择与哈斯德鲁巴正面交锋，以阻止其前往意大利与汉尼拔会合。战斗在今天的巴埃库拉地区（Baecula）打响。西庇阿主导了整场战役，当哈斯德鲁巴意识到自己令人绝望的处境后，他选择撤退，带着残余部队北上。
汉尼拔期待着兄弟哈斯德鲁巴带来的军事增援。巴埃库拉战役败北之后，哈斯德鲁巴重新整合了军队。公元前207年，他以令人震惊的行军速度向意大利进发，其军事表现绝不逊色于汉尼拔。如果两支迦太基军队在意大利联合起来，那么在汉尼拔的指挥下，他们将给罗马造成无法估量的威胁。感到惊慌的罗马人自然要竭尽全力阻止两军会合。
在意识到哈斯德鲁巴的部队即将抵达意大利之后，罗马人在公元前207年选择了两位颇具军事经验的执政官——盖乌斯·克劳狄乌斯·尼禄和马尔库斯·李维乌斯·萨利那托尔。久经考验的禁卫军将领大多已战死沙场（埃米利乌斯·保卢斯、森普罗尼乌斯·格拉古、克劳狄乌斯·马塞勒斯），只留下了费边·马克西姆斯和他们之中最有能力的普布利乌斯·科尔内利乌斯·西庇阿，而他正投身于西班牙战场，无法脱身。充分利用所有的储备资源，罗马人再次集结了约20个军团，但并不是所有人都能发挥全力。
哈斯德鲁巴穿越阿尔卑斯山之后，取道帕辰察大区，向阿里米努姆［Ariminum，即今天的里米尼（Rimini）］进发。他还在途中招募了凯尔特人和利古里亚人，据说总人数超过3万人。但他派往汉尼拔处的信使被罗马人截获，两人的配合作战计划并未成功。汉尼拔带兵由意大利南部出发，逐步向内陆挺进，之后驻扎在阿普利亚，希望可以收到兄弟的消息。与此同时，哈斯德鲁巴也在向南进发。他穿过亚平宁山脉，越过梅陶罗河（Metaurus）。然而，这一切都在马尔库斯·李维乌斯·萨利那托尔的掌控之中。
另一位执政官盖乌斯·克劳狄乌斯·尼禄则一直在坎努西姆（Canusium）附近观察汉尼拔，并拟定下一步的计划。为了分散对手的注意力，他佯装向卢卡尼亚发动攻势。而实际上却带着选定的精锐部队一路向北疾行，计划在一周后与马尔库斯·李维乌斯·萨利那托尔的部队会合。哈斯德鲁巴的部队被对手打了一个措手不及，他们在非常不利的地形中行动，完全无法抵挡罗马军团的冲击。梅陶罗河一役，迦太基部队被彻底歼灭，哈斯德鲁巴也不幸战死沙场。这是罗马人第一次在意大利的土地上击败迦太基军队。之后克劳狄乌斯·尼禄立即赶往阿普利亚，并将哈斯德鲁巴的首级扔进汉尼拔的营地。直至此刻，汉尼拔才意识到自己胜利的希望彻底破灭。
公元前206年，两军在西班牙迎来了最终的决战。在巴埃库拉战役之后，西班牙的迦太基军队交由基斯戈之子哈斯德鲁巴统领，但其实力已无法与西庇阿相抗衡。战争的主动权已经被西庇阿牢牢地握在手中。与此同时，西庇阿又加强了他的军队，并得到了更多的西班牙人的支持。公元前206年，哈斯德鲁巴在梅陶罗河战败（公元前207年）的消息迫使迦太基人做出决定。基斯戈之子决定采取新的行动，他们绝不希望看到自己在西班牙最后的领地就这样拱手让人。同年，最终决战在塞维利亚附近的伊利帕（Ilipa）打响。大局观与临阵指挥的完美结合以及军队更加出色的战术素养确保了西庇阿的胜利。此后只有一小部分迦太基反抗势力留存，但他们终究难成气候。在迦太基人失去了对西班牙的控制之后，汉尼拔的战争变得越发困难。
公元前206/前205年，被击败的迦太基部队被迫撤离西班牙，迦太基扩张的辉煌时代也走到了尽头。随着最后一座海外堡垒的丢失，迦太基人面临的现实就是他们的领土在不断减少，而罗马的领土却在日益增加。一段将持续几个世纪并对后世产生巨大影响的罗马统治时期就此在西班牙开始。
当哈斯德鲁巴在梅陶罗河战役中战败之后，汉尼拔立即撤军至布鲁提乌姆（Bruttium）。整个公元前206年，意大利半岛上并没有发生任何重大战役。直到西庇阿将战火再次带回意大利。载誉而归的西庇阿与普布利乌斯·李锡尼·克拉苏（Publius Licinius Crassus）于公元前205年一同被选为执政官。罗马领导层首先要确定后续战争的基本方针：是优先将汉尼拔赶出意大利还是主动进攻非洲。为此，元老院爆发了激烈的争吵，费边及其支持者更倾向于前者，而西庇阿等人则选择后者。
西庇阿被派往西西里岛，他将在那里带领军队做好登陆北非的准备。此前从没有任何一位罗马将领拥有过如此之大的权力。他得到的指示如下：在他能掌控的范围内，只要能为国家带来利益，他便可以在北非采取任何行动。与此同时，罗马人在洛克里也取得了胜利，这进一步限制了汉尼拔在意大利南部的行动。
此时，汉尼拔已经意识到自己继续留在意大利只会徒劳无功。他来到克罗顿（Kroton）附近的朱诺神庙，并在那里留下了一段记录自己至今的所作所为的布匿语和希腊语双语碑文（波里比阿III 33，56）。这段碑文因记录了汉尼拔军队的构成，包括其具体人数而具有特殊的历史意义。我们由此得知，汉尼拔的部队自战争开始就从未超过5万人。相较之下，罗马军队的优势是显而易见的。根据公元前225年的“托袈长袍名单”（formula togatorum，记录了能够参军的罗马公民的名单），罗马及其盟友的军队可达将近70万人。双方海军之间的实力相差也很悬殊。公元前218年驻扎在非洲及西班牙的迦太基战舰约100艘，而罗马舰队的数量是其两倍多。
即使离乡10年之久，并且持续处于高强度的作战压力下，汉尼拔的军队仍旧听命于他，这充分体现了这位将领的军事才华和个人魅力。尽管在意大利的战争并未取得胜利，部队也即将撤往北非，但没有发生任何叛乱。即使是在逆境中，汉尼拔也没有失去对军队的控制。
公元前205年，马其顿国王腓力五世在腓尼基与罗马签订和平条约，这使得罗马人能够专注于最后给予迦太基致命一击。按照惯例，罗马人非常仔细地研习了所有基础性的宗教典籍，以保证他们的胜利。神圣的《西卜林书》提到：如果人们能够将小亚细亚培希努（Pessinus）的“大地之母”玛格纳玛特（Mater Magna）迎回罗马，那么意大利的敌人就会被驱逐。为了迎接女神，罗马人必须选出国家的“最佳公民”。他们选择的是西庇阿·纳西卡（Scipio Nasica），他是格奈乌斯·科尔内利乌斯·西庇阿（战死于西班牙）之子，普布利乌斯·科尔内利乌斯·西庇阿（即将出征北非）之兄。
如果汉尼拔希望避免迦太基直接遭到罗马的攻击，他就必须加强自己在意大利的攻势，以阻止西庇阿在北非登陆。由于受到瘟疫的持续影响，人数上占优的汉尼拔军队被认为在很长一段时间内无所作为。雪上加霜的是，来自迦太基的大量补给资源——整整100艘船的黄金、粮食补给和武器装备在海上遭遇风暴。幸存的舰队不得不登陆西西里岛，而在那里等候它的却是罗马士兵。最终，汉尼拔没有得到哪怕一艘船的补给和支援。
他在意大利留下的最后希望是其兄弟马戈。当迦太基人在西班牙战败后，马戈前往巴利阿里群岛，并在那里得到了迦太基的支持，竭尽全力招募了一支实力可观的军队。直至今日，梅诺卡岛（Menorca）上的马翁市（Mahon）仍旧承载着他的名字。他带着30艘战舰在利古里亚海岸登陆。征服热那亚（Genua）之后，他向伊特鲁里亚进发，并在那里招募到了更多的雇佣兵。然而，他在里米尼附近被两个罗马军团击败，他甚至还未能率军抵达意大利中部就结束了自己的征程。而现在，撤离意大利也只是时间问题。
这位陷入困境但仍未尝一败的将领正处在命运的转折点。波里比阿对他做出了如下评价：“综观整场战争，汉尼拔不间断地与罗马人抗争了16年之久……其部队由利比亚人、伊利里亚人、利古里亚人、凯尔特人、腓尼基人、意大利人和希腊人组成，他们之间没有任何血缘关系，也没有法律条款，只有道德准则约束着他们。他们彼此之间语言不通，没有任何东西能够维系其关系，而且所有的指挥权都由汉尼拔一人掌控。然而，这支多元化的国际雇佣军却从未发生过任何叛乱。面对这样的成就，谁还能够否认这个人（汉尼拔）的英明勇武、出众的军事技巧和其与生俱来的大将气概？”（波里比阿XI 19）
