岳阳楼的修建者非常有名，据传就是三国演义里的鲁肃。当时，东吴占领了荆州东部，洞庭湖一线是刘备和孙权的势力交界处。东吴因此在洞庭湖出口处建立了巴丘城，据记载，火烧赤壁的周瑜就是生病死在这里的。
当时，鲁肃继周瑜之后担任了东吴大都督，为了在洞庭湖操练水军，就在巴丘城上建立了阅兵楼，这就是岳阳楼的前身。西晋统一天下后，巴丘改名为巴陵，所以当时的岳阳楼又称为「巴陵城楼」。
南北朝以后，巴陵逐渐改名为岳阳。但岳阳楼的大名，还是由唐朝大诗人李白传开的。当时，李白与朋友登上城楼远眺天岳山，一时诗兴大发，作诗一首《与夏十二登岳阳楼》，这首诗是这么写的：
楼观岳阳尽，川迥（jiǒng）洞庭开。雁引愁心去，山衔好月来。云间连下榻，天上接行杯。醉后凉风起，吹人舞袖回。
从此，这座三国时期的阅兵楼，就以「岳阳楼」大名为天下熟知。
而在北宋年间，大文学家范仲淹受岳州知州滕子京邀请，为重修岳阳楼创作了一篇散文，这就是著名的《岳阳楼记》。这样，岳阳楼与「先天下之忧而忧，后天下之乐而乐」的爱国爱民情怀联系了起来。
今天岳阳楼最大的优点，是建筑的古老和独特。它是江南三大名楼中唯一保持原址原貌的古建筑，而且岳阳楼采用了独特的盔顶结构，斗拱酷似古代将军头盔。据考证，岳阳楼这种带有盔顶结构的古建筑是国内独一无二的。它的斗拱造型工艺非常精美。
