桓温的父亲是宣城内史桓彝。桓温是长子，他还有有四个弟弟桓云，桓秘，桓豁、桓冲，据说桓温生下来没多久，温峤看到便说桓温骨骼惊奇，又听他哭声洪壮，认为以后必有一番作为。因为温峤所欣赏，所以桓彝给他取名为桓温，表字元子。
温峤听说桓彝给孩子起名为“温”，就笑着对手下人说：“恐怕以后我的姓氏要改一改了！”
温峤这么说就很奇怪了，因为与帝王名字一样，才要避讳。难道温峤现在就看出桓温长大以后是个不臣之人，会有篡夺晋室的行为？
桓温的老爹桓彝，字茂伦，后汉名臣桓荣之九世孙。当时桓氏已经没落，所以他少年时家徒四壁。八王之乱后，追随司马睿南渡。
桓彝刚刚南下时并没有过长江，那时司马睿还是安东将军。司马睿任命桓彝为逡遒县令。逡遒在合肥之南，西晋属淮南郡。一直做到311年。
建兴三年（315年）司马睿做了西晋丞相后，桓彝才过江做了丞相中兵属。此时他已经年近四十了。
当时做官的条件跟科举无关，官员除了从门阀士族之中选拔这一条路，还有一条路就是通过举荐名士和忠孝之人。南渡建康以后，桓彝每日与谢鲲、毕卓、王尼、阮放、羊曼、阮孚、胡毋辅之等人饮酒作乐，放浪形骸。终于跻身“江左八达”。
他之所以这样，是因为桓氏家族并非高门大族，没有做官的地位。他只能有意附庸风雅、跻身名士，以获取升迁的资本。
经过一番努力，桓彝成功跻身名士之流，史书记载：“温峤、庾亮、阮放、桓彝同志友善，并为中兴名士。”意思是当时温峤、庾亮、阮放都是桓彝的好友，被人称为中兴国家的名士。
庾亮是丞相、军谘祭酒庾琛之子、明穆皇后庾文君之兄。
温峤的伯父温羡为西晋末司徒，温峤的姨丈是刘琨。
都是有身家有背景的官二代，而桓彝一小官能够与他们齐名，可见他的运作是十分成功的。
晋元帝去世后，继位的晋明帝开始谋划对付王敦，于是任命桓彝担任散骑常侍。后来桓彝因为平灭王敦有功，被封为万宁县男。后来温峤举荐他出任宣城内史。在宣城期间他勤政爱民，为百姓所拥戴。
苏峻之乱的时候，桓彝便准备召集民兵进京勤王，当时有人劝桓彝可以先按兵不动，静观其变。桓彝不禁大义凛然地说道： “有人敢对皇帝无礼，我要像老鹰扑向小鸡那样和叛军拼命，现在社稷有危险，我得马上去救援，要不然心里便不会安宁。”后来桓彝据守泾县一年多，终被苏峻部将韩晃攻克。桓彝拒不投降，被韩晃所杀，时年年五十三岁。
桓彝死后追赠廷尉，谥曰简，咸安年间改赠太常。桓彝跻身名士，又以死报国，桓家的影响进一步扩大。
史书上没有提到桓温的母亲，应该是一个普通的女人。但是她生了几个不平凡的儿子。
