霍去病的孩童时代是在相当优裕的环境中度过的，虽然说不是含着金钥匙出生的，但是卫氏家族命运的急剧改变，加上舅父卫青军事生涯逐步辉煌，不断加官晋爵，整个卫氏家族官高爵显，富贵逼人。可以说，霍去病与所有王侯之家的后代一样，锦衣玉食，奴仆成群，没有经历过任何生活磨难，很少知道人间的疾苦和稼穑的艰难。这也就很好地解释了他与其他起于卒伍的将领的最大不同点，即不知道体恤士卒，很少与士兵同甘共苦，一直是高高在上。后来他成为统兵大将，汉武帝经常予以赏赐，甚至专门派人到军中给他送大量的精美食物，以示关心。食物多得吃不完，以致腐烂变质，但是他的士兵却饿着肚子。即便在戎马倥偬之际，他依然保持着以前的贵族生活习惯，专门为自己修建了球馆，供自己踢球玩乐。有人以此诟病霍去病，其实这与他富足豪奢的童年时代的影响是分不开的。
西汉立国之初，刘邦对功臣大肆分封，造就了庞大的军功集团，从而在社会上形成了与宗室、外戚相提并论的三大势力集团。军功集团的后裔们靠着祖宗的余荫，坐享其成，整天追求享受，沉溺于声色犬马之中，骄奢淫逸，横行不法，成为比比皆是的“二世祖”。如陈平的后人陈何强夺人妻，被弃市；陈婴的后人陈须的母亲馆陶长公主卒，未服除奸，兄弟争财，论罪当死，结果自杀，削去爵位；孝景中五年，陈融以长公主之子封隆虑侯，坐母死未服除奸，自杀，削去爵位；萧何的后人萧胜之，坐不敬之罪，被废为庶人；灌婴的后人灌何的儿子行凶伤人，被削去爵位；公元前115年，夏侯婴的后人夏侯颇坐与父御婢奸，自杀，被削去爵位。至于没有被揭发的种种不法情事，可谓洋洋大观，无奇不有，以致从汉初的143侯，到了汉武帝时期，仅剩三五家还有爵位。他们之所以未能取盈保泰，永保富贵，自然是个人原因所致。一是生且富贵，不知道创业难，守业更难，子孙躺在父辈的功劳簿上，胡吃海喝，胡作非为。正如书中所载，“子孙骄逸，多抵法禁，陨身失国”。二是缺乏一种对后代有效的守业教育，没有形成良好的家教和家风。汉高祖所封功臣大多是武将，这些人没有什么文化，对后代缺乏严格的管教，又没有形成良好的家风对后代加以约束，所以逃不过“富贵不过三代”的魔咒，家业传承永远上演着创造、继承、毁灭三部曲。
虽说出身于富贵之家，霍去病并不像其他纨绔子弟那样，纵情享乐，肆意挥霍。他是一个有大志向有作为的人。生活在开疆拓土的时代，使他时刻关心国家的命运，关注着这场战争，渴望有朝一日像舅父那样，驰骋疆场，为国分忧，马上封侯。为此，他刻苦练习骑马射箭，不断提高自己的军事素养，舅父也经常对他耳提面命，言传身教。家庭的熏陶，加上自身的追求，那颗少年的心，早就想展翅高飞了。他身上涌动着澎湃的血液和献身疆场的宏愿，希望投身气势恢宏的沙场，挥斥方遒，用累累战功博得封妻荫子的万户侯。
孔子说，“山梁雌雉，时哉时哉”，而霍去病刚好有机会。当时为彻底改变汉军骑射不如匈奴的状况，扩建骑兵，汉武帝太初元年，设置了建章营骑，后来改名为羽林骑，专门选取死于兵事的官兵的子孙，在羽林骑中重点培养，进行弓马骑射的训练，号称“羽林孤儿”。后来，羽林郎并不局限于烈士遗孤，选取范围要大得多，《后汉书·百官志》记载：“羽林郎，掌宿卫侍从，常选汉阳、陇西、安定、北地、上郡、西河六郡良家补之。”另外入选羽林骑是走向官场的捷径，官宦子弟有志于疆场建功者，都可入选。至于为何称之为“羽林”，学问很大的唐朝学者颜师古解释说：“羽林，宿卫之官，言其如羽之疾，如林之多。”汉武帝对羽林郎很重视，视为组建新军的人才培养基地。为了培养将才，汉武帝不惜血本，重金聘请了大批擅长骑射的匈奴人作教官，积极从匈奴那里学习高超的骑兵突击战术。14岁那年，霍去病像其他贵族子弟一样，被汉武帝选为羽林郎，随侍皇帝左右，汉武帝指挥战争时的气定神闲和胸有成竹，给他留下了深刻的印象，从某种意义上说汉武帝成为他的精神导师。因为霍去病有这么一段羽林郎的经历，在其成名后，羽林郎多代指霍去病。
转眼间，霍去病18岁了，已经成为一个英姿勃发的青年。“长安年少羽林郎，骑射翩翩侍武皇。弓影醉开孤月满，刀头新买百金装。听鸡晓阙疏星白，走马秋郊细柳黄。应募玉门关外去，请缨生系左贤王。”霍去病渴望到边陲从戎，建立不世功名。
也就在这一年，汉帝国再次进行战争动员，发动了对匈奴的反击作战。整个卫氏侯府上下充盈着战前的紧张气氛，因为他的舅父卫青又要披甲出征了。
经过数次交锋，特别是卫青主导的远程奔袭右贤王之战，极大地提振了汉军的士气。右贤王经过这一战，一蹶不振，将部族收缩到更加遥远的科布多一带，实际上脱离了战场，这使得匈奴本部的右侧空虚，汉军可以毫无顾忌，专心对付匈奴本部了。
伊稚斜立刚刚登上单于之位，试图以连续的军事胜利凝聚人心，提高自己的威信，也借此挽回匈奴军队不断显露的颓势。因此，在公元前124年秋天，他派出1万余骑兵袭入代郡，杀死了代郡都尉朱英，劫掠千余人而去。接着攻击雁门，劫掠定襄（今内蒙古和林格尔）、上郡（今陕西绥德东南），采用游击战术，采取打了就走的战术，不断对汉帝国边郡进行袭扰，烧杀抢掠、无恶不作，肆意砍杀掠汉朝官吏和无辜百姓，汉匈边境线这么漫长，匈奴骑兵来去如风，今天在东边打一下，明天又转到西边打一下，四处骚扰，汉军根本防不胜防。匈奴军队的目的就是使汉军疲于奔命，穷于应付，直至拖垮汉军，最后创造战机，一举歼灭汉军，扭转战局，重振匈民族的雄风。
“夜半飞书报建章，交河新驻左贤王。即分骁骑屯榆塞，便发元戎出定襄。”要改变被动挨打的局面，汉军必须主动出击，御敌于国门之外。按照汉军出征的习惯，沙场春点兵。到了公元前125年2月，汉武帝调集了10万大军，以大将军卫青为统帅，以合骑侯公孙敖为中将军，太仆公孙贺为左将军，翕侯赵信为前将军，卫尉苏建为右将军，郎中令李广为后将军，右内史李沮为强弩将军，六路大军从定襄出发，浩浩荡荡，挺进沙漠，寻找匈奴主力，准备给匈奴致命一击。
定襄郡是汉高祖年间从云中郡分出来的郡，此时成为汉军的出击阵地。“擒贼先擒王，挽弓当挽强”，右贤王退出战场后，汉武帝将目光聚焦到了匈奴单于本部，将其作为战略进攻的重点，决心派兵深入大漠，寻机与匈奴单于决战。所以，西汉王朝高度重视这次定襄之战，对雄厚的作战兵力进行了严密编组，分置中、左、右、前、后诸军，以此序列投入作战。汉武帝委任常胜大将军卫青为统帅，统一指挥10万大军。此战是西汉对匈奴开战以来，投入兵力最多的一次。为确保战略重点决胜，西汉宁可置渔阳、上谷、代郡等地于不顾，任由匈奴铁骑蹂躏，也要投入全部兵力攻击匈奴单于本部。这一作战方案体现了汉武帝必欲消灭匈奴本部主力而后快的战略决心。
对于这次出征，史书上语焉不详，只是含糊记载，这次行动歼灭了匈奴军队数千人，按说战果也算不错，但找不到汉武帝封赏诸位将领的记载，这是不合常理的。应该说，这是一场存疑的行动。
后世研究者认为，匈奴对西汉王朝的这次进兵，应该提前获得了准确情报，得到了较长的预警时间，并且进行了一系列的防卫准备。汉军刚由定襄出塞不久，有可能遭到单于军的顽强抵抗，汉军可能吃了败仗，至少是出师不利，否则按照卫青的风格，不会没有达成战术目标，就迅速撤军，然后回军定襄、云中、雁门休整，以利再战。
