司马乂催促左右把齐王牵出，斩于阊阖门下，循首六军示众。
河间王司马颙的部将李含、张言等人闻知齐王已死，就引兵还据长安。
长沙王司马乂掌权后也专断谋私利，没多久成都王司马颖和河间王司马顒也开始共同前往洛阳讨伐长沙王。
卢志谏劝，司马颖不听。
河间王司马颙以张方为都督，将兵七万自幽谷东趋洛阳。成都王司马颖引军屯朝歌，以陆机为前将军、前锋都督，率二十多万人南向洛阳。
众人大战，死伤数万。长沙王手中有惠帝这张王牌，关键战斗皆在军中显耀皇帝旗鼓。建春门一战，陆机大败，他手下败兵争赴七里涧，死者如积，水为之不流。
由于陆机兄弟与成都王司马颖的太监孟玖不和，孟玖就说陆机有二心想联合长沙王谋反。成都王没主见，下令诛杀二陆兄弟及其三族。
打败成都王派来的陆机，长沙王司马乂深觉惠帝这个幌子确实好用，就让人抬着惠帝去进攻张方。
张方的士兵看到乘舆（皇帝御车），都惶恐走避，张方军大败。
双方僵持不下，长沙王主簿祖逖建议，派人持诏到西北，命雍州刺史刘忱起兵，去袭击河间王司马颙的后方。这样一来，张方军不得不回，可解京城之围。
长沙王司马乂对惠帝服侍周全，礼数不亏，士兵也勇气可嘉。数次争战，前后斩获对方六七万人。
围城二王兵马略尽，张方也准备逃回长安。
就在此时，洛阳城冲出东海王司马越忽然反水，越，害怕城外二王兵马越聚越多，就与殿中亲将密谋，半夜冲入司马乂房中，把这位俊伟英勇的长沙王捆绑起来，关在金墉城里，并以皇帝名义下诏免其官职，召成都王司马颖等入城辅政。
匈奴人赖以生存的蒙古大草原发生了前所未有的大旱灾，赤地千里，草木尽枯。空前的灾难。牛羊没有草吃，饿死很多；牧人无食，相继而死。而人畜的尸体交相堆积，无人清理，又引发了一轮又一轮的瘟疫。一直号称“天之骄子”的匈奴人死耗大半，不得不南下迁徙。
刘渊，字元海，“姿仪魁伟，身长八尺四寸，须长三尺余，中间有赤毫毛三根，长三尺六寸”王浑深叹刘渊一表人才，并命其子王济拜见刘渊刘渊，自幼居于汉地，深受汉文化熏陶，从小就刻苦好学，是高度汉化的匈奴人。文武兼备，人中龙凤。
曹魏咸熙年间（264—265年），刘渊作为“任子”在洛阳做“人质”在洛阳居住。大臣王浑不停地在晋武帝面前荐举刘渊。晋武帝召见刘渊后，大悦，对王浑的儿子、女婿王济说：“刘元海仪容机鉴，金日磾也比不过他啊。”王济应答说：“圣上所言皆是。陛下如果能派他去平吴国，肯定能马到功成。”谏说道：“刘元海之才，确实超出常人。陛下如果给兵不多，不足以成事；如果授之以威权，恐怕他平吴之后，肯定自立为王，再也不会北渡了。非我族类，其心必异！如果真把匈奴本部交由他统领，他凭借朝廷威名外讨，为臣真为陛下寒心！”武帝默然，没再坚持。
关陇一带的氐族酋帅树机能反叛，晋武帝于朝中大臣间访寻能胜任平叛主将之人。大臣李憙（时任尚书仆射）又推荐他：“陛下诚能发匈奴五部之众，授刘元海将军名号，鼓行而西，可指期而定。”大臣孔恂又一次谏阻：“李公之言，只能是一患未平又生一患！”
李憙勃然大怒，辩驳说：“以匈奴之劲悍，元海之晓兵，奉宣国威，为什么不能平叛呢！”
孔谏对称：“刘元海果真能斩杀树机能，夺取了凉州，恐怕凉州才是真正面临大祸乱。蛟龙复得云雨，就不会再蜷缩池中了。”
武帝再次打消了念头，刘渊再次错过大显身手的机会。
一次，以游侠著称的东莱人王弥自洛阳返乡，刘渊于九曲之滨为王弥饯行。几巡酒后，刘渊哭着对王弥说：“王浑、李憙两位老友，多次在皇上面前举荐我，却招致谗毁之言。其实我本来就没有当大官的打算，二公好心却成坏事，唯足下您深明我心！自今以后，我恐怕要老死于洛阳城内，与君永诀了！”言毕，悲歌慷慨，纵酒长啸，一座之人皆为其这一番“表演”而感动。
刚巧，晋武帝的弟弟齐王司马攸当时也在九曲宴客，听见附近人声喧哗，又歌又哭又叫唤（长啸），便飞马驰近瞧个究竟。
刘渊的一番言语表演，皆为这位明睿聪明的王爷所睹闻。他回朝后，马上对皇帝大哥司马炎说：“陛下不除掉刘元海，臣恐并州日后不得安宁！”
关键时刻，又是刘渊的老友也是老乡、晋武帝的儿女亲家王浑出面保奏：“刘元海是个厚道人，我以身家性命担保他不会有异心。我大晋现正怀远以德，怎能做出杀害匈奴入侍质子之事！”
不久，刘渊的父亲、匈奴左部部帅刘豹病死。依据晋朝律令，刘渊得以返回本部，世袭左部帅之职。武帝太康末年，朝廷拜他为北部都尉。
刘渊回到本部后，明刑法，禁奸邪，轻财好施，推诚接物，五部俊杰，皆闻名而至。就连幽州、冀州一带的汉族名儒、秀士，也不远千里，慕名而来。
中原大地板荡之时，居于汾水流域的匈奴五部蠢蠢欲动。刘渊的堂叔祖刘宣秘密召集五部上层贵族，对当时的情势发表意见，准备见机起事。“我们匈奴先人与汉朝约为兄弟，荣辱与共。自汉朝灭亡，魏晋代兴，我们匈奴族人只有虚号，没有实土之封，虽号称王族世家，和普通百姓编户没什么区别，想想真是屈辱呵。现在司马氏骨肉相残，四海鼎沸，正是我们兴邦复业的大好时机。刘元海姿器绝人，为超世人杰，正是兴复大业的最佳人选。”
于是，五部贵族上层秘密盟誓，推举刘渊为大单于，并暗派匈奴族人呼延攸到邺城，把五部盟誓的事情通报给刘渊。
刘渊正在邺城，眼见晋朝宗室相伐，天下动荡，心中窃喜，只是身在汉地，不敢有太大动作。
刘渊听说自己已被五部暗中遥尊为大单于，欣喜过望。但他仍不动声色，假称五部族人有丧事，向成都王司马颖请假，说自己要回部落参加葬礼。司马颖当时没答应，眼见不能成行，又不敢贸然私下逃归，刘渊让呼延攸自己先回去，叫他嘱咐刘宣等人召集五部并诱引宜阳诸部胡人，齐集兵马，打着声援司马颖的旗号，准备伺机兴兵。
成都王司马颖掌权，为了拉拢这位非常有号召力的匈奴大都督，把刘渊召至邺城，封其为“行宁朔将军，监五部军事”。
晋惠帝永安元年（304年），膨胀的司马颖在邺城宣布自己为皇太弟，废掉侄子司马覃的皇太子位号，东海王司马越以口实，双方开打。荡阴一战，司马颖得胜，把惠帝掌握于自己手中，高兴之余，他又加封一直在身边出谋划策的刘渊为冠军将军。
没多久司马越近宗的晋朝宗室、并州刺史东赢公司马腾和安北将军王浚起兵，合力攻打司马颖，率鲜卑、乌桓等十多万人，直扑而来。强敌来逼，“貌美而神昏”的司马颖不知所措。
，有甲士劲卒十多万人来攻，恐怕都京宿卫军士抵御不了这些强寇。请殿下允许我只身返回五部，带匈奴五部之兵杀返，以赴国难！”
司马颖迟疑。“匈奴五部能保证发兵吗？即使五部兵能来，王浚等人率领的鲜卑、乌桓士兵劲速如风云，五部兵能打得过他们吗？……我想护卫皇帝返归洛阳，避其锋锐，再传檄天下，以逆顺制之，不知君意以为如何？”
面对这位成都王，刘渊心中十分看不上他。但为了自己能顺利返回五部之地，刘渊仍一脸虔诚庄重，一面给司马颖戴高帽，一面“深忧王事”地出主意：“殿下您乃武皇帝亲子，对帝室立有殊功，威恩光洽，四海钦慕，谁都想为您效命献身啊！有您的命令，五部会闻命而动。况且，王浚竖子，东赢公是王室疏宗，这两个人怎能与殿下您争锋！殿下您千万别离开邺城，兵马一动，示弱于人，又怎能到得了洛阳呢。即使能到洛阳，威权也不在您手中了。鲜卑、乌桓虽号称悍勇，但比起匈奴五部还差得远。希望殿下您镇抚士众，安静以待，我返回五部后，发二部兵击东赢公司马腾，再发三部兵进攻王浚。如此，这两个鼠辈的首级，不久即可传至邺城！”
司马颖闻言大悦，拜刘渊为北单于、参丞相军事。
蛟龙终归大海。刘渊一回到左国城，刘宣等五部贵族马上奉上大单于尊号，建都离石，拥众五万。
王浚所率鲜卑大军一到，司马颖一败涂地，裹挟着司马衷南逃洛阳。
刘渊此时闻讯，叹骂道：“司马颖不听我言，一战即溃，真是昏庸的奴才！但我和他有约，不可不救。”
刘宣等人马上阻止他，劝道：“晋朝无道，一直像使唤奴隶一样使唤我们匈奴五部。现在司马氏父子兄弟自相鱼肉，是上天给我们匈奴人光复大业的机会。违天不祥，逆众不济。天与不取，反受其咎，望大单于三思！”
刘渊马上借坡而下，叹言道：“言之有理。帝王之业怎有定数呢。大禹出于西戎，文王生于东夷，天授有德之人啊。现在我们有强兵十万，皆可以一当十，鼓行而摧灭晋朝，我是汉室之甥，当初与汉朝约为兄弟，兄亡弟继，合情合理。”
于是，刘渊称汉王，在晋惠帝永兴元年（304年）于左国城登基，建号元熙，依据汉制建百官。
