先前，匈奴骑兵三千余人侵入五原，杀掠数千人；后又派骑兵数万南下，沿着汉朝边塞移动，一路进攻汉朝设于塞外的堡垒，掳掠边塞官吏和百姓而去。当时，汉朝边疆各郡的烽火报警设施严密，匈奴扰边没有什么收获，所以很少再来侵犯。后汉朝又获得归降的匈奴人，得知乌桓人曾经挖掘单于祖先的坟墓，引起匈奴的怨恨，正派出二万骑兵袭击乌桓。霍光打算发兵迎击匈奴军队，便询问护军都尉赵充国的意见。赵充国认为：“乌桓连续几次进犯边塞，如今匈奴袭击他们，对我们很有利。再者匈奴很少前来侵扰，我国北部边疆所幸无事。蛮夷之族自相攻击，而我们却发兵迎战，招他们前来生事，这不是好计策！”霍光又向中郎将范明友询问，范明友说可以迎击，于是任命范明友为度辽将军，率领骑兵二万从辽东出塞，迎击匈奴军。匈奴得到汉军出塞的消息后，撤退而去。当初，霍光曾告诫范明友说：“大军不可空手而还，如落在匈奴军队后面，便袭击乌桓。”乌桓当时刚刚受到匈奴军的打击，范明友既然没能追上匈奴，便乘乌桓疲惫之机发动攻击，斩杀六千余人，取得乌桓三名首领的人头。匈奴从此大为惊恐，不能再向汉朝出兵。

四年（甲辰、前77）

　　四年（甲辰，公元前77年）

　　[1]春，正月，丁亥，帝加元服。

　　[1]春季，正月丁亥（初二），汉昭帝举行加冠典礼。

　　[2]甲戌，富民定侯田千秋薨。时政事壹决大将军光；千秋居丞相位，谨厚自守而已。

　　[2]甲戌（疑误），富民侯田千秋去世。当时的国家政事全部由霍光一个人决定，田千秋身居丞相之位，只是谨慎稳重，自我保全而已。

　　[3]夏，五月，丁丑，孝文庙正殿火。上及群臣皆素服，发中二千石将五校作治，六日，成。太常及庙令丞、郎、吏，皆劾大不敬；会赦，太常阳侯德免为庶人。

　　[3]夏季，五月丁丑（疑误），汉文帝祭庙正殿失火。汉昭帝与群臣一律身穿素服，并派中二千石官员率领左、右、前、后、中五校令所属工匠修复，崐六天后修复完毕。太常以及负责管理、守卫祭庙的令丞、郎及所属官吏等全部因此而被以大不敬的罪名遭到参劾。正巧遇到大赦，太常、阳侯德被免除官爵，贬为平民。

　　[4]六月，赦天下。

　　[4]六月，大赦天下。

　　[5]初，遣太子赖丹为质于龟兹；贰师击大宛还，将赖丹入至京师。霍光用桑弘羊前议，以赖丹为校尉，将军田轮台。龟兹贵人姑翼谓其王曰：“赖丹本臣属吾国，今佩汉印绶来，迫吾国而田，必为害。”王即杀赖丹而上书谢汉。

　　[5]当初，国派太子赖丹到龟兹国去作人质，贰师将军李广利攻击大宛回朝时，将赖丹带到京城长安。霍光采用桑弘羊以前的建议，任命赖丹为校尉，率领军队前往轮台屯田。龟兹贵族姑翼对龟兹国王说：“赖丹本来是我国的臣属，如今却佩戴汉朝的印信、绶带前来，在逼近我国边境的地方屯垦，必将给我国造成危害。”于是龟兹王派人杀死赖丹，然后上书汉朝谢罪。

　　楼兰王死，匈奴先闻之，遣其质子安归归，得立为王。汉遣使诏新王令入朝，王辞不至。楼兰国最在东垂，近汉，当白龙堆，乏水草，常主发导，负水担粮，送迎汉使；又数为吏卒所寇，惩艾，不便与汉通。后复为匈奴反间，数遮杀汉使。其弟尉屠耆降汉，具言状。骏马监北地傅介子使大宛，诏因令责楼兰、龟兹。介子至楼兰、龟兹，责其王，皆谢服。介子从大宛还，到龟兹，会匈奴使从乌孙还，在龟兹，介子因率其吏士共诛斩匈奴使者。还，奏事，诏拜介子为中郎，迁平乐监。

　　楼兰国王去世，匈奴最先听到这一消息，便将在匈奴充当人质的楼兰国王子安归护送回国，安归得以当上楼兰国王。汉朝派使臣前往楼兰国传达汉昭帝的诏令，命新即位的楼兰王来长安朝见，楼兰王推辞不来。楼兰国位于西域的最东部，靠近汉朝，中间隔着白龙堆沙漠。此地缺乏水源、牧草，以往楼兰国经常负责派出向导，命人背水担粮，迎送汉朝派往西域各国的使者。因多次受到汉朝官吏和兵卒的欺扰，楼兰国逐渐对汉朝产生了戒惧，不愿再与汉朝来往。后来，又受了匈奴的离间，多次拦杀汉朝使臣。楼兰王安归的弟弟尉屠耆归降汉朝，将内情一一报告汉朝。担任骏马监的北地人傅介子出使大宛，汉昭帝下诏命其顺路去责问楼兰、龟兹两国。傅介子来到楼兰和龟兹，责问两国国王为何背叛汉朝，两国都表示道歉服罪。傅介子从大宛回来，又到龟兹，正好匈奴使臣从乌孙返回，正在龟兹，于是傅介子率其随从官兵一同将匈奴使臣杀死。回国后，傅介子向朝廷报告了此事，汉昭帝诏封傅介子为中郎，改任平乐监。