呼韩邪单于返回王庭几个月后,解散军队让各部返回故地,于是找回在民间的哥哥呼屠吾斯,立他为左谷蠡王,派人告知右贤王的贵族,想要让他们杀死右贤王。这年冬天,都隆奇与右贤王共同立日逐王薄胥堂为屠耆单于,出动数万军队向东袭击呼韩邪单于。呼韩邪单于兵败逃走,屠耆单于返回后,立长子都涂吾西为左谷蠡王,小儿子姑瞀楼头为右谷蠡王,留守单于庭。
第二年秋天,屠耆单于派日逐王先贤掸的哥哥右奥鞬王和乌藉都尉各自率领二万骑兵,驻扎在东方防备呼韩邪单于。当时,西方的呼揭王前来与唯犁当户谋划,一起诬陷右贤王,说他想要自立为乌藉单于。屠耆单于杀死右贤王父子,后来知道右贤王冤枉,又杀死唯犁当户。呼揭王因此恐惧,于是反叛离去,自立为呼揭单于。右奥鞬王听说后,也自立为车犁单于。乌藉都尉也自立为乌藉单于。此时共有五位单于并立。屠耆单于亲自率军向东攻打车犁单于,派都隆奇攻打乌藉单于。乌藉、车犁都战败,向西北逃走,与呼揭单于的军队会合,共有四万人。乌藉、呼揭都去掉单于称号,共同全力辅佐车犁单于。屠耆单于听说后,派左大将、都尉率领四万骑兵分别驻扎在东方防备呼韩邪单于,自己率领四万骑兵向西攻打车犁单于。车犁单于战败,向西北逃走,屠耆单于于是率军向西南进发,留在闟敦地区。
第三年,呼韩邪单于派弟弟右谷蠡王等人向西袭击屠耆单于的屯兵,杀死掠夺一万多人。屠耆单于听说后,亲自率领六万骑兵攻打呼韩邪单于,行军一千里,还未到达嗕姑地区,就遭遇呼韩邪单于约四万军队,双方交战。屠耆单于兵败自杀。都隆奇于是与屠耆单于的小儿子右谷蠡王姑瞀楼头逃归汉朝,车犁单于向东投降呼韩邪单于。呼韩邪单于的左大将乌厉屈与父亲呼速累乌厉温敦见匈奴内乱,率领数万部众向南投降汉朝。汉朝封乌厉屈为新城侯,乌厉温敦为义阳侯。当时,李陵的儿子又立乌藉都尉为单于,呼韩邪单于捕杀了他,于是重新定都单于庭,但部众只有数万人。屠耆单于的堂弟休旬王率领所辖五六百骑兵,击杀左大且渠,吞并其军队,到达右地,自立为闰振单于,驻扎在西边。后来,呼韩邪单于的哥哥左贤王呼屠吾斯也自立为郅支骨都侯单于,驻扎在东边。两年后,闰振单于率领部众向东攻打郅支单于。郅支单于与他交战,杀死闰振单于,吞并其军队,于是进攻呼韩邪单于。呼韩邪单于战败逃走,郅支单于定都单于庭。
呼韩邪单于战败后,左伊秩訾王为他谋划,劝他向汉朝称臣入朝,借助汉朝的力量求助,这样匈奴才能安定。呼韩邪单于与大臣们商议询问,大臣们都说:“不行。匈奴的习俗,本来就崇尚气力而鄙视侍奉他人,以马上战斗立国,因此在百蛮中享有威名。战死是壮士的本分。现在兄弟争夺国家,不是哥哥胜就是弟弟胜,即使战死仍有威名,子孙后代也能长久在各国中处于上位。汉朝虽然强大,还不能兼并匈奴,为什么要破坏古代的制度,向汉朝称臣,玷污先单于的名声,被各国嘲笑!即使这样能得到安定,又怎能再统领百蛮!”左伊秩訾王说:“不对。强弱是会变化的,现在汉朝正强盛,乌孙等城郭诸国都已成为汉朝的臣妾。自从且鞮侯单于以来,匈奴日益削弱,不能恢复往日盛况,虽然在这里逞强,却没有一天安宁。现在侍奉汉朝就能生存安定,不侍奉就会危亡,没有比这更好的计策了!”大臣们相互争辩了很久。呼韩邪单于采纳了左伊秩訾王的计策,率领部众向南靠近边塞,派儿子右贤王铢娄渠堂入朝侍奉。郅支单于也派儿子右大将驹于利受入朝侍奉。这一年,是甘露元年。
第二年,呼韩邪单于抵达五原塞,请求在甘露三年正月入朝。汉朝派车骑都尉韩昌迎接,调发经过地区的七郡,每郡派二千骑兵,在道路上陈列护卫。单于在正月前往甘泉宫朝见天子,汉朝给予他极高的礼遇,地位在诸侯王之上,拜见时称臣而不直呼其名。赏赐他冠带衣裳、黄金玺戾绶、玉具剑、佩刀、弓一张、箭四发、棨戟十柄、安车一辆、鞍勒一套、马十五匹、黄金二十斤、钱二十万、衣被七十七套、锦绣绮縠杂帛八千匹、絮六千斤。礼仪结束后,派使者护送单于先行,住在长平。汉宣帝从甘泉宫前往池阳宫住宿,登上长平坂,下诏让单于不必拜见,他的左右当户等群臣都能列队观看,还有数万蛮夷君长王侯,都在渭桥下迎接,夹道排列。汉宣帝登上渭桥,众人都高呼万岁。单于前往住所,停留一个多月后被遣送回国。单于亲自请求愿意留在光禄塞下,有紧急情况就退守汉朝的受降城。汉朝派长乐卫尉高昌侯董忠、车骑都尉韩昌率领一万六千骑兵,又征调边境郡县数千士兵马匹,护送单于从朔方鸡鹿塞出境。