故事的开头是一面墙的相册。上面的照片记录了从两人刚开始的相遇，到后来的相知相守，再到后来生儿育女，孩子长大嫁人。
到最后，画面定格在了老伴的遗像上面，一个耄耋之年的老人，坐在她的面前，看着她最后留给他的样子，一个人安静的念想着她。
他就那样坐着看着她，他取下嘴里的烟斗，往外长舒了一口，又把烟斗放进了嘴里继续抽着。
他抽烟是一天三次，酒则是一天一杯，这是他和已经过世的她之间的约定。
接着，画面突然转变到他打开了房子的地板的一个缺口，拿出一根鱼竿守在那个缺口。缺口下面，是很多层被淹没掉的，像他现在这层一样的小屋。
潮水淹没掉了他原来居住的地方，并且一天天上涨，他只有一天天加高小屋。所以现在只剩他住的那个小屋还孤零零的露在水面上面，而在水面之下，是被淹没的街道，建筑，还有他房子被淹没的部分，犹如一座好多层的高塔一般，淹没的只剩他现在居住的那一层。
潮水淹没一层，他就往上堆砌一层，就跟搭积木一样搭建他的小屋。
他早上的第一件事，是找到床头柜上的烟斗叼在嘴里，然后是睁开眼起床。
可是某天当他起床之后才发现，水已经漫涌到了脚下，现在这层房子也居住不了多久了，因为就连放在门口的沙袋也被潮水越过，淹没。
他在考虑要不要放弃这座房子，还是接着往上面堆砌。他看着桌子上她的照片，决定还是继续往上堆砌小屋。
他买来砖和水泥，拿一把凳子坐在屋顶，一个人筑建小屋，就如同建造之前的那些已经被淹没掉的一样。
下雨就在头顶打一把伞，砖块不够就去从那些被废弃的房子上拆。一直建到最后连头顶上的伞也破了。不过总算是在被淹没掉剩余的那一层之前建造好了新的一层。
他同样在新建的那一层的地板上面留了一个缺口，就跟之前的每一层的地板上都留了一个缺口一样。
而他在被快要淹没掉的那一层，把家具搬上船的打算搬到新的一层的时候，嘴里的烟斗掉了，那个烟斗从要被淹没的那一层的那个缺口掉了下去。
那天晚上，他如往常一样坐在椅子上看着墙上的照片。当习惯性的去摸嘴里的烟斗时，才想起，那个烟斗已经掉了。
他找出了好多个烟斗，想从里面挑一个合适的，但是没有一个是他想要的。
这个时候，他看到了别人售卖潜水服，他萌生了想潜到水下去找回他的那个烟斗的念头。
他穿着潜水服，从屋子地板上的那个缺口进入到水里。他经过了之前快要被淹没的那一层，当然，他潜下去的时候那一层已经完全被淹没了。所以他从那个屋子的缺口进入到了更下面一层。
他在那一层看到了他的烟斗，孤零零的就躺在堵住那个屋子地板缺口的那块档板上面。
当他去捡起那个烟斗的时候，他突然有一种错觉，仿佛看到了她帮他捡起了烟斗，可是当他回过神来，四处找着，才发现除了周围除了水和水里游动的鱼，其实什么也没有。
他拿到了烟斗，但又往下面潜了一层。他看到了那一层小屋里角落的那张床，那是他陪她度过人生最后时光的地方。她卧病在床，他用勺子喂她喝药。
他接着又往下潜了一层，他想再回忆起多一点的东西。
这一层留给他的，是一张沙发。因为在水里浸泡了很久，沙发一边的沙发腿已经不见了。那个时候，他和她的女儿已经结婚了，他的女儿也有了子女，他们一家人就坐在那张沙发上拍全家福。
屋子地板上的缺口就犹如时光机一般，而被淹没的每一层都是被潮水封存住的时光和记忆。他一层一层的下潜，一层一层的回忆。
接下来的一层，是他和她的女儿带了男朋友回来见他们，他有点不开心，因为他知道他的女儿要属于别的男人了，可是这是注定的啊。后来他的女儿与那个男人结婚了，他和她参加了他女儿的婚礼。
记忆就这样开始抽丝剥茧，一儿直在水面下分崩离析的记忆也开始重新组合拼接。
他看到了她女儿长大离家，看到了他女儿小时候蹒跚学步，看到了她年轻的时候在地上陪女儿搭着积木。
终于，他到了最后一层，也就是最初还没有被潮水淹没的那个小屋。他从那个小屋游了出来。他看见了他的屋子被潮水驱赶着，犹如积木一般不断的往上延伸，一直到水面之上。
而他屋子旁边的那些小屋早已被人废弃；在潮水刚开始漫涌的时候那些房子的主人就逃离了这里。所以这些小屋大都维持着原来的模样。
他在一棵大树下看到了他和她，他俩从小到大，青梅竹马。看到了他和她一起建造小屋，看到了他和她一起碰杯......
那天晚上，他回到了新建造的小屋，拿出了一瓶酒，两个杯子。两个杯子里都倒上了酒，他还像很多年以前一样，拿起酒杯朝另一个酒杯碰了一下。
最大的遗憾，不是你的遗憾与我有关，是我的遗憾，与你有关。
我们从来没有意识到，时间会如潮水般漫涌上来，慢慢的淹没掉每一天，每一年，每一个人。我们会将刚开始的一座小屋，会像搭积木一样堆砌成一座高塔，用来抵御时间的侵蚀。
潮水依旧还是每天在上涨，我们依旧在高塔上继续堆砌着。时间还是一直裹挟着我们向前，我们一边丢失所有，一边死守着回忆。
我们某一天醒来，我们会发现，潮水已经涌到了脚边。时间淹没掉的东西，变成了水蒸气，从皮肤，从血管，从呼吸，从任何细枝末节，都一起疯狂的涌向左边的心脏。
在回忆里，我们又重新拥有了全部。
