可是，由于吃了败仗，李广回到国内就被送上了军事法庭。判决书中写道：被告李广不但没能完成皇上分派的任务，还导致我军伤亡惨重。另外，堂堂一个汉朝的大将军被匈奴人活捉，实在是丢尽了国家的颜面，依法应当判处死刑。
好在当时死刑犯可以用钱赎罪，李广在这件事上比司马迁幸运，他能弄到钱，于是命保住了，又没有受到身体上的严重伤害。离开朝廷以后，他还乡了。转眼间，已经过去了八年，在这八年中，李广一直在蓝田过着隐居的生活。白天到南边的山中去打猎，晚上参加当地名人举办的晚会，生活过得还算惬意。
有一次，李广应邀去参加一个在郊外举行露天晚会。晚会结束时已临近十二点了，可根据汉朝有关宵禁的规定，晚上八点以后城门就关闭，禁止出入。
却说李广一行往回走，来到霸陵亭，叫醒守亭的霸陵尉，李广大声喊道："快开城门！"可霸陵尉说什么就是不放行。不得已，李广的随从亮出了王牌身份，说道："你吃了熊心豹子胆吗？这位是大名鼎鼎的飞将军李广，还不快快放行。"亭尉说："将军？李将军是好多年前的事了吧，现在他也只不过是李广，况且现在在任的将军都是不允许通过的，更何况被辞退了的将军。"没办法，李广一行只得收起声，在霸陵亭下熬了一夜，第二天一早才进了城。
不久，匈奴大举入侵辽西地区，杀死了辽西太守。与辽西相邻的右北平地区面临巨大危险。面对朝廷众臣的大力举荐，以及来自外交上的重大压力，汉武帝不得不发出紧急召令，宣李广入宫。接着，汉武帝就发布录用公告，重新聘用李广，任命其为右北平太守。
汉武帝向李广宣布完命令后，问李广："李爱卿，你有什么要求尽管提出来，我们全国上下都会配合你的。"李广说："我没有别的要求，只求皇上赐我一名手下。""不知李爱卿所说是何人哪？"汉武帝问道。李广答道："霸陵尉。"汉武帝一听，心想这个人我都没听说过，就想都没想，答应了他。
这位霸陵尉不是别人，就是先前秉公执法，不肯放李广等人通行的霸陵尉。当时这位仁兄确实有点嚣张，可在得知李广被重新录用，自己又将被调到李广军中当差后，几乎天天都睡不着觉。这不，霸陵尉一到军中，李广二话不说，就把他给杀了。
杀死霸陵尉后，李广就向汉武帝写了封自首信，说："我杀了霸陵尉"。汉武帝发来批示说："将军的所作所为让我觉得将军是很有血性的人，这才是我大汉的将军嘛。而且将军敢做敢当，是个真汉子。右北平有将军坐镇，我可以放心了。"李广没料到汉武帝非但没有惩罚他，倒是表扬了他一通。
不过，话说回来，李广这次公报私仇的行为不是给自己的脸上抹黑吗？看看人家韩信是怎么处理类似事件的：不但没有杀掉使他蒙受胯下之辱的痞子，反而将他招至帐下，予以重用。李广也不知道学学人家韩信，还因为汉武帝的表扬，得意忘形起来。其实对于李广的这一复仇行为，汉武帝表面上是表扬了李广一番，实际上，汉武帝是记在心里了。只不过大敌当前，汉武帝也要讨好一下李大将军。
很快，李广驻守右北平的消息传到了匈奴人的耳朵里。一时间，一纸"汉朝飞将军来了"的新闻在匈奴军营里炸开了锅，匈奴们议论纷纷，最终得出结论：这几年先不要进攻右北平了。可见飞将军李广的名声，在国内外都是响当当的。唐朝诗人王昌龄就写到："但使龙城飞将在，不叫胡马度阴山。"实际上，李广在匈奴人心里就像是一座活的长城。
匈奴人不来打李广，不代表李广就不去打他们。公元前121年，博望侯张骞和郎中令李广奉命领兵讨伐匈奴。大探险家张骞带了一万精兵，飞将军李广带了四千精兵，两个人兵分两路，向匈奴进发。
李广的军队行进了几百里后，遭遇了比上郡追击战中更为惊心动魄的时刻。他的部队遇到了匈奴的绝对主力军——匈奴左贤王率领的四万铁骑。匈奴左贤王下令打造一个铁桶阵，把李广的军队围个水泄不通，一只苍蝇都不让出去。面对来势汹汹，并且人数十倍于自己的匈奴兵，李家军全体将士都有点惊惶失措。可在李广看来，这只不过是23年前上郡一役李家军一百勇士深入敌军腹地的翻版，没什么大不了的。
