在沈复的家庭中，父亲是一家之长和主要的经济来源，在家中自然占据主导地位。沈复和妻子陈芸在家庭中作为从属，加上他们不流于一般世俗的个性，追求精神生活，难免为一般人所不能理解，并最终容易引起矛盾，越演越烈。沈复在家族中排行第三。刚开始时，全家上下都喊陈芸为“三娘”，后来就变成了“三太太”。太太在当时是对官员妻子的称呼，称呼平民的妻子为太太，当然带有讥讽的成分，讥讽的来由沈复虽然没有明说，但大概与陈芸识文断字，而且追求精神生活有一定的关系。作为家庭的“异类”，陈芸难免鹤立鸡群，并被整个家庭所不容，最终受到排挤。虽然她有一些在大家庭生存的智慧，最终还是阴差阳错，引起公公的误会，并和沈复一起被逐出家门。无奈之下，夫妻二人只好借住在朋友家中。

陈芸身体状况本就不好，加上她和沈复遭受的困境，身体更不如以前。此时屋漏偏逢连阴雨，陈芸的娘家也出现了很大变故，先是家中仅有的弟弟外出时失踪，母亲又因为思念儿子积郁成疾去世。家人尽失，陈芸悲痛过度，身体大出血的病症又加重了。沈复和陈芸有一个女儿，一个儿子。女儿叫青君，十四岁，知书达理，善于持家。儿子叫逢森，十二岁，正在读书。沈复连年没有工作和收入，无奈之下就在家里开了一个书画铺子，可惜生意惨淡。女儿青君穿着单薄的衣服过冬，冷的发抖，还懂事地说不冷。一家人度日艰难。为了省钱，陈芸虽然病重，却坚决不肯吃药。她听说有个刺绣《心经》的活儿能赚钱，就接了下来，靠刺绣的手艺换钱来贴补家用。但就像沈复说的，“弱者骤劳”，本来身体状况就很差的陈芸，因为劳累又增添了新的病症。

危难时分，陈芸一位嫁到无锡的结拜姐妹听说她病重，便邀请夫妻二人去乡间小住调养。二人将女儿和儿子进行了安置，准备前往。这一段描写了本书中最让人痛彻心扉的一幕。在此之前，沈复的一个朋友向别人借钱，请沈复做了担保人。但是后来这个人携款逃之夭夭，搞得债主天天跑到沈家门外催债。这天，为了避开债主的纠缠，夫妻二人决定赶早偷偷出行。当时已经临近春节。当夜，他们先让人把行李挑送到船上，到了五鼓，也就是将近凌晨四点，热了粥大家吃了。儿子逢森听到声音，醒来问道：母亲这是去干什么？陈芸骗他说，只是出门看病。

接下来这段，沈复写的特别生动，以至让人读来心痛不已。“鸡声三唱,芸含泪扶妪,启后门将出。”因为躲避邻居和逼债人，所以扶着老仆，深夜从后门离开。刚一出门，儿子逢森忽然大哭道:“母亲，你不回来了吗!”女儿青君唯恐惊动了逼债人和邻居，赶忙捂住弟弟的嘴安慰他。沈复悲痛地写道：“当是时，余二人寸肠已断，不能复作一语”。夫妻二人心中悲痛不已，却不能说出一句话，只能互相劝慰道，别哭，别哭。身体虚弱至极的陈芸走出巷子十多步，就已经走不动了。沈复背着陈芸，老仆人在前面提着灯笼，一行人狼狈上船。船开之后，陈芸终于忍不住放声痛哭。

沈复和陈芸到无锡时，是腊月二十六日的凌晨，离除夕只剩几天了。不过幸运的是，当他们到了无锡锡山，得到了陈芸那位结拜姐妹很好的照应。尽管有了依靠，夫妻二人并没有觉得有了依靠就疏于生计。元宵节后，二人就商议起未来的打算。陈芸说，你的姐夫现在在靖江当会计，十年前他曾向借过你一些钱，当时为了凑数，我还把钗子典当了呢。听说靖江离这里不远，你可以去一趟。

从这一段叙述里可以看出，沈复陈芸夫妻二人的为人和处世胸怀——在友人家中居住十多天，就过意不去，赶紧想着谋生自立。夫妻二人重义轻财，即使是穷困潦倒走投无路之际，也只是选择曾经帮助过的人去求助。由此可见他们的人格和情操。沈复决定前往靖江找亲友索要多年前的旧债，总算筹到了一些钱。二月春暖之后，沈复置办了行装，在扬州谋到了一份“代司笔墨”的文书职务，总算稍微安定下来。

一年多后，陈芸到扬州刚与丈夫团聚，结果沈复工作的地方却突然裁员，沈复被辞，一下子失去了经济来源。虽然失去了生活依靠，妻子陈芸不但没有一句怨言，反而不断安慰他，花尽心思为丈夫谋划。夫妻二人捱到春天，陈芸的血疾之症突然大发，沈复再次前往靖江求助亲友。为了让妻子宽心，他谎称自己是骑着驴子回家，其实是步行，携带着干粮，边走边吃。一路风餐露宿，最后借钱才回到家中。不过，陈芸的病情越来越重，嘉庆八年，也就是公元1803年三月三十日，陈芸躺在病榻上，对着丈夫追忆了二人此生生活，交代完后事，便与世长辞。这一年陈芸只有四十一岁。

沈复总结妻子的一生时说道，陈芸虽然是一介女流，但她有男子一般的胸怀和才识。嫁入沈家之后，沈复为生活奔走，哪怕中间经济上困乏到难以为继，她也不以为意。这一章虽然是写坎坷生活，实际上写了很多褒奖陈芸品质的琐事。夫妻相亲相爱，可惜造化弄人，二人相伴半生便天人永诀。沈复在书中感慨道：“恩爱夫妻不到头。”陈芸去世的第二年，沈复的父亲去世。后来，儿子逢森也去世了。到1805年七月，妻子去世两年后，沈复幼年时代的伙伴石琢堂出任四川重庆的长官，邀请沈复同行。于是，沈复告别母亲和家人，绕道扬州，特意看望了陈芸之墓，从此踏上浪迹天涯之路。

第三记《坎坷记愁》到此结束。在这一部分中，沈复用动人的笔触，描写了二人经历的坎坷愁苦，并表达了对妻子始终如一的深爱，以及夫妻二人面对困境互相支持、鼓励的真挚情感。陈芸早逝，沈复颠沛流离，再对比前半生的快乐恩爱，更显得凄凉，至今读来，仍然让人唏嘘不已。在《闺房记乐》和《坎坷记愁》之间，还有一记名为《闲情记趣》，记录的是夫妻二人富有情趣的美学生活。沈复自幼喜欢花草，后来得到行家指点，开始学习培育花草和盆景，甚至还会嫁接花木、堆叠假山。沈复出生在江南的富庶之地，文人气息浓郁，养草插花，生活闲适，情趣雅致，丰富多彩。

陈芸嫁到沈家之后，也依然坚持自我，并没有像那个时代的很多女性那样，完全融入到大家庭的生活之中。她坚持着自己那些并没有多少现实价值的爱好，比如诗词和其他闲情逸趣，而且在丈夫的影响下，在生活中表现出优异的品味和鉴赏力，充满了浪漫情怀，同时又具有比丈夫更务实，更接地气的性格，是沈复生活中不可或缺的助益者，也是情感上的伴侣和精神上的伙伴。

沈复一介布衣，出生书香之家，生活中并没有太多建树，但是他却有着极好的生活品味，在命运的波澜中，始终与妻子站在一起，共同面对。他们夫妻二人在那个时代，也表现出与众不同的反叛精神，比如让妻子女扮男装游览夜市，带妻子游览名山大川。沈复处事的豁达，对妻子的深情，和他们对生活的美好情趣，两百年多年来让无数人产生了深深的共鸣。这对平凡甚至经历坎坷的夫妻，成为了人世间的一段佳话，被世人羡慕和推崇。

沈复和陈芸夫妻二人并没有特别惊心动魄的经历，不过通过沈复生动的记述，让读者感受到夫妻二人深切的情感和深邃的精神共鸣，以及他们面对困境超脱淡泊的精神气质。沈复豁达开阔，疏财仗义，淡泊名利，有豪士风范，陈芸娴淑多艺，聪慧多情，能与丈夫琴瑟和鸣，共享人生闲情与欢乐，也能与丈夫共赴险境，共同面对生活挫折，他们的生活为后人羡慕和推崇。