harbor blobs占用的空间越来越大的情况记录和解决办法

2019-08-07

harbor所在的服务器突然提示磁盘空间不足，上去查看磁盘占用情况发现，/data竟然达到了49GB：

导致磁盘剩余只有17GB

于是我就好奇，做了一个统计，看看当前harbor中的所有image加起来到底是多少，这一统计就发现了问题，一共加起来才用了10GB不到，咋占用磁盘空间就达到了49GB呢？

所以怀疑，是否是产生了垃圾，导致了磁盘空间没有释放！！！

于是查了一下解决办法：

执行如下的前提是必须保证harbor是处于stop状态，而不能是down状态：

先执行：

docker-compose stop

然后执行

dockerrun -it --name gc --rm--volumes-from registryvmware/registry-photon:v2.6.2-v1.5.0garbage-collect--dry-run /etc/registry/config.yml

如果harbor是down状态，则会报错：

docker: Error responsefrom daemon: No such container: registry.

检测出如下结果：

此时磁盘占用情况为：

然后执行：

docker run -it --name gc --rm--volumes-from registry vmware/registry-photon:v2.6.2-v1.5.0garbage-collect /etc/registry/config.yml

可以看到上述并没有起作用：

于是在harbor控制台上手动删除了一些image，然后查看磁盘是没有立即释放的。

于是又执行了一次垃圾回收：

docker run -it --name gc --rm--volumes-from registry vmware/registry-photon:v2.6.2-v1.5.0garbage-collect --dry-run /etc/registry/config.yml

docker run -it --name gc --rm--volumes-from registry vmware/registry-photon:v2.6.2-v1.5.0garbage-collect /etc/registry/config.yml

然后查看发现，磁盘空间确实释放了2GB：

此时的磁盘空间占用为：

最后再启动harbor：docker-compose start

这只是证明了垃圾回收针对删除的image是起作用的。但是为啥blobs会占用这么大的空间呢？

于是接着查找原因，终于发现了一篇文章中记录着解决办法：

文章链接：https://www.cnblogs.com/xzkzzz/p/10151482.html

Harbor删除镜像后且GC清理后，磁盘空间没有释放。因为我们push大量相同标签的镜像，Docker 镜像由标签引用，并由唯一的摘要标识。这意味着如果myImage使用标记推送两个图像，在DR内部他们显示的不同，它们将由两个不同的digests标识。最后推送的Images是当前的。Docker 镜像由layers组成，每个layers都关联一个blob。该blob是最占用存储的文件; 这些文件将由GC清理。正由上面的描述每个镜像都会存储一个引用，因为，我们重复提交10次，那一个标签在DR中会有10个引用，标签只能获取tag。而其他9个只能用digest获取了。

简单的来说就是因为相同的标签的镜像重复提交次数过多导致。

通过向docker-compose.yml中添加：

ports：

  -127.0.0.1:5000:5000

然后通过执行（需提前下载mortensrasmussen/docker-registry-manifest-cleanup）：

docker run--network="host" -it -v /data/registry:/registry -eREGISTRY_URL=http://127.0.0.1:5000mortensrasmussen/docker-registry-manifest-cleanup

来清理已删除未使用的那些blobs！！！

执行结果如下：

此时查看服务器磁盘空间，已经释放了：

可以看到，磁盘占用的情况已经发生了变化：

这简直是太美妙了！问题终于解决了！很久之前，在虚拟机中使用harbor，时间长了就出现过一回这个情况，但是当时没有找到解决办法，最后无奈迁移了harbor中的数据到新的harbor中。但是当时就对harbor的这个情况印象深刻，终于在这个环境中再次出现了，并且终于解决了！又攻克了一道大山！！！

补充一下通过harbor清理垃圾的方法：

首先必须以admin用户登录才行，普通用户是看不到以下页面的：

以上只是逻辑上的清理，但是磁盘空间并没有释放，必须要执行如下命令才能释放空间：

docker run -it --name gc --rm

--volumes-from registry vmware/registry-photon:v2.6.2-v1.5.0 garbage-collect

/etc/registry/config.yml

但是以上命令不能删除多余的layer，只能释放删除的image的资源。若想真正删除多余的layer，还是需要：mortensrasmussen/docker-registry-manifest-cleanup 出马才行！！！