主人公冉·阿让原是个诚实的工人，一直帮助穷困的姐姐抚养七个可怜的孩子。有一年冬天，他找不到工作，为了不让孩子饿死，他只得去偷了一块面包，因此被判处五年徒刑。在服刑期间，冉·阿让因不堪忍受狱中之苦四次逃跑，但最终都没有成功，刑期也从五年加到了十九年。假释出狱后，苦役犯的罪名永远地附在冉·阿让的身上，他找不到工作，连住宿的地方都没有。即使同样是做苦工，假释犯得到的报酬也只是别人的一半。

不甘心被人如此欺负的冉·阿让感到十分苦恼。正在他感到灰心气馁的时候，冉·阿让遇到了米利埃主教。米利埃主教是个善良、正直、极富同情心的人。他好心收留冉·阿让，他在自己家里过夜。但走投无路的冉·阿让却为了生计偷走了主教的银器，准备潜逃。途中，又被警察抓住，但关键时刻，善良的米利埃主教声称银器并不是冉·阿让所偷，而是自己送给他的，并且连银烛台也一同赠给了他，就这样使冉·阿让免于再次被捕。而冉-阿让也被这一位主教的宽厚与爱心所感化，获得了新生的勇气，决心从此去恶从善。之后，冉·阿让确实改名换姓，化名马德兰，埋头工作，而命运也给了他机会，让他在制造黑玻璃小工艺品上有所发明而起家，经过了十年的辛勤努力，他成了一个成功的商人，办起了企业。成了大富翁后，他乐善好施，兴办福利，救助孤寡：他为滨海蒙特勒依城的穷人花了一百多万，创办托儿所，创设工人救济金，开设免费药房等等。他的善举让他得到了大家的爱戴，并终于当上了市长。

也是在此期间，冉·阿让认识了妓女芳汀，一位女工。她有美发皓齿，多情而又幼稚无知的她真心爱着一位大学生并以身相许，失身怀孕，但这个大学生却是个逢场作戏的轻薄儿，对她虚情假意，不久便弃她而去。芳汀生下了女儿柯赛特后不敢返乡。一次偶然的机会，她认识了泰纳迪埃大妈。芳汀为了有时间赚钱，把女儿寄养在泰纳迪埃家。这夫妇俩其实是极其贪婪、庸俗的一对，经营着一家小旅馆，但生意很糟糕。他们同意收留柯赛特其实也是为了骗一笔钱还债。小柯赛特慢慢长大，夫妇俩人想尽办法，以各种理由要芳汀寄更多的生活费。一方面骗芳汀说她的女儿过着怎样幸福的生话，另一方面却随时随地地侮辱、虐待、殴打小柯赛特。让她小小年纪就要干杂事，打扫房间、院子、街道，洗杯盘碗盏，甚至搬运重东西。总之，可怜的柯赛特在那里受着非人的待遇。

芳汀在把女儿托付给泰纳迪埃一家后，来到了滨海蒙特勒依一家玻璃制造厂工作，工厂的老板便是马德兰先生，也就是冉·阿让。芳汀来到工厂之后，终于可以自食其力了，每月都会给旅店老板泰纳迪埃写信、寄钱。她的美貌引起了当地许多恶妇的嫉妒，她的行为更成了她们议论、猜忌的对象。终于有一天，一个名叫维克图尼安太太的人查到了芳汀的过去经历，将她有私生女的事揭发了出来。她的几位同事以马德兰先生的名义给了芳汀50法郎，让她离开，但马德兰并不知道这件事。芳汀从此开始了她的悲惨经历。她被解雇，再也没有人肯雇用她，她无法靠劳动养活自己和寄养在别人家的女儿，只能为10法郎卖掉了自己的一头秀发，40法郎出售两颗门牙，最后沦为娼妓，变为社会的奴隶。曾几何时，一个活泼的年轻少女变得形容枯槁，病入膏肓，还饱受社会的歧视。

马德兰知道芳汀的真情和悲惨遭遇后，感到十分内疚，也深深地被她感动，于是决定要照顾她们母女俩。有一次，芳汀要恶少把雪团塞进衣衫的捉弄，奋起反抗反而要被警察沙威监禁。马德兰出面干涉，沙威是冉·阿让在狱中的警长，认为罪人永远是罪人，一直对冉·阿让穷追不舍的沙威认出了马德兰就是当年的苦刑犯。他写信告发，却没得到理睬。马德兰将芳汀占中救出后，把她接到工厂的诊所请人照顾，立即给泰纳迪埃夫妇去信，还寄了一笔钱，让他们把柯赛特送来见病重的母亲。贪婪的夫妇俩却一再拖延，用各种名目骗马德兰一次又一次的寄钱。眼见芳汀的病情越来越严重，马德兰十分着急。正在他为此事伤神的时候，另一件烦心事又接踵而来。

当地一个叫尚马蒂厄的老头被当成冉·阿让正在接受审判，冉·阿让于是陷入了矛盾挣扎中：如果承认自己的身份则会被捕，无法照顾芳汀母女；如若不承认，一个无辜的人就会为自己所累，被捕入狱。良知最终战胜了一切，他毅然走上法庭，道出自己的真实身份。冉·阿让因此又开始被通缉。他来到芳汀家中，沙威带人前来逮捕他，芳汀受刺激死去。冉·阿让也再一次被投入狱中。

但没多久，冉·阿让从监狱中逃了出来，去蒙费梅找芳汀的孤女柯赛特。几经波折后，他终于在圣诞节找到了正去泉边打水的柯赛特。跟着女孩回到旅馆后，他亲眼目睹了女孩的悲惨生活，于是立即从狠毒的夫妇俩人手中救出了可怜的小柯赛特。带着她来到巴黎。为了逃避警察的追捕，冉·阿让带这女孩逃进了巴黎市郊的一个修道院，在那里将她抚养成人，他们两人也在那里过上了暂时的平静生活。

好景不长，几年后，平静的生活再起波澜。长大后的柯赛特因为一次偶然的机遇，在公园里遇上具有共和思想的年轻人马里尤斯，两人一见钟情。马里尤斯原先受到外祖父吉尔诺曼的影响，是个保皇派。他的父亲蓬梅西是拿破仑手下的爱将，拥护共和，在滑铁卢之战中立了战功，被封为男爵。吉尔诺曼敌视女婿，不让他与马里尤斯见面，否则要剥夺马里尤斯的继承权。蓬梅西为儿子的前途着想，只得忍气吞声，只能趁儿子上教堂之际，偷偷去看儿子。他快去世时才给儿子留下遗嘱，把真相告诉自己的儿子。马里尤斯受到震动，暗地里查阅书报，了解到父亲的英勇事迹，终于改变立场，离家出走，接触到“ABC之友社”的共和派青年，很快加入他们，成了一个共和党人。

起先，这位共和派青年并不知道他爱上的这名少女名叫柯赛特，也不知道和这少女在一起的先生是冉·阿让。他找到柯赛特的住处，向她倾诉衷情，他俩常幽会，但马里尤斯的外祖父不答应这婚事，马里尤斯终于和外祖父决裂。1832年6月，ABC的成员都投入起义。冉·阿让此时也知道了柯赛特与马里尤斯的恋情，深受打击的他收到马里尤斯来信后也来到街垒加入了战斗。

战斗中，冉·阿让放走了被俘的警长沙威，还把自己的住址告诉了他。他的行为终于感动了沙威，使他相信犯过错的人真的会幡然醒悟，重新做人。战斗激烈，许多战士身亡，马里尤斯身受重伤，冉·阿让从下水道将他救离险境，送到他外祖父家中。但当时身负重伤的马里尤斯并不知情。他外祖父看马里尤斯安然无恙，答应了他和柯赛特的婚事。在两人成婚的第二天，冉·阿让将自己的身世向马里尤斯和盘托出，后者知道了大为震惊，对他冷眼相看。连他辛辛苦苦带大的孤女也误解他，离开了他。多年来舍己教人，最终却连多年来与他相依为命的“女儿”也误解自己，伤心的冉·阿让抑郁成疾，终日只有孤寂与他相伴。

而之后一个偶然的机会，马里尤斯才知道冉·阿让原来是自己一直寻找的救命恩人，连忙去接他来同住，但冉·阿让此时已经生命垂危，最后在柯赛特和马里尤斯怀里与世长辞。