Harbor 简介
Harbor是VMware公司开源的企业级DockerRegistry项目，其目标是帮助用户迅速搭建一个企业级的Dockerregistry服务。
它以Docker公司开源的registry为基础，提供了管理UI，基于角色的访问控制(Role Based Access Control)，AD/LDAP集成、以及审计日志(Auditlogging) 等企业用户需求的功能，同时还原生支持中文。
架构及组件
image
- 主要组件包括proxy，他是一个nginx前端代理，主要是分发前端页面ui访问和镜像上传和下载流量，上图通过深蓝色线标志；
- ui提供了一个web管理页面，当然还包括了一个前端页面和后端API，底层使用mysql数据库；
- registry是镜像仓库，负责存储镜像文件，当镜像上传完毕后通过hook通知ui创建repositry，上图通过红色线标志，当然registry的token认证也是通过ui组件完成；
- adminserver是系统的配置管理中心附带检查存储用量，ui个jobservice启动时候需要加载adminserver的配置，通过灰色线标志；
- jobservice是负责镜像复制工作的，他和registry通信，从一个registry pull镜像然后push到另一个registry，并记录job_log，上图通过紫色线标志；log是日志汇总组件，通过docker的log-dirver把日志汇总到一起，通过蓝色线条标志。
依赖 & 部署
- 底座环境: K8s/K3s
- 软件依赖: Helm3 & Git
- 存储依赖: Rook Ceph
# 配置 helm 源
helm repo add harbor https://helm.goharbor.io
helm repo update
helm pull harbor/harbor
tar xf harbor-x.x.x.tgz
- 配置 PV & PVC
云原生的存储类可以有多种选择，nfs 或者 ceph 等多种类型的存储，本文选择 rook 已经在集群中配置好的存储类进行服务访问，查看本地可用的 sc ：
kubectl get sc
image
image
- 部署检查
# 0 部署
helm install harbor harbor
# 1 查看 pv & pvc
kubectl get pv -A | grep harbor
kubectl get pvc -A | grep harbor
# 2 查看 pod
kubectl get pod -A | grep harbor
# 3 查看 svc
kubectl get svc -A | grep harbor
# 4 查看 ingress
kubectl get ingress -A | grep harbor
image
- Ingress 配置
备注：helm 部署 harbor 以后，默认的 Ingress 是不可用的，需要结合实际情况进行配置，比如需要考虑到的问题有 Ingress-nginx 还是 treafik 的控制器控制的服务访问，正如我的集群环境使用到的正是基于 K3s 集群的 treafik 负载均衡器，所以配置方式如下:
kubectl get ingress -n default harbor-harbor-ingress -oyaml > harbor-core-ingress.yaml
kubectl get ingress -n default harbor-harbor-ingress-notary -oyaml > harbor-harbor-notary-ingress.yaml
编辑 ingress 的负载映射如下:
image
kubectl apply -f harbor-core-ingress.yaml
kubectl apply -f harbor-harbor-notary-ingress.yaml
image
强调说明: 删除无用信息，增加控制器字段，不要名称冲突即可。
- 浏览器访问
配置访问主机hosts:
image
image
image
插件 & 使用
- docker添加harbor证书
对于需要使用harbor仓库的节点，都要添加harbor证书：
kubectl get secrets harbor-harbor-ingress -o jsonpath="{.data.ca\.crt}" | base64 --decode
image
在边缘节点添加证书，进行登录验证:
# 添加证书验证路径
mkdir -p /etc/docker/certs.d/core.harbor.domain
# 追加上文证书到证书文件中
vi /etc/docker/certs.d/core.harbor.domain/ca.crt
# 追加域名到 /etc/hosts
vi /etc/hosts
image
[root@vm3290 tmp]# docker login core.harbor.domain -u admin
Password:
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
- push插件
[root@vm3290 tmp]# helm plugin install https://github.com/chartmuseum/helm-push
Downloading and installing helm-push v0.9.0 ...
https://github.com/chartmuseum/helm-push/releases/download/v0.9.0/helm-push_0.9.0_linux_amd64.tar.gz
Installed plugin: push
[root@vm3290 tmp]# helm plugin ls
W0215 05:21:14.927672 4760 loader.go:223] Config not found: /etc/rancher/k3s/k3s.yaml
NAME VERSION DESCRIPTION
push 0.9.0 Push chart package to ChartMuseum
image
拓展阅读
- harbor 进行 helm 管理：
$helm plugin install https://github.com/chartmuseum/helm-push
$helm repo add mylibrary http://core.harbor.domain/chartrepo/library --ca-file /etc/docker/certs.d/core.harbor.domain/ca.crt
$helm repo list
NAME URL
stable https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
local http://127.0.0.1:8879/charts
mylibrary http://xxxx/chartrepo/library
bitnami https://charts.bitnami.com
image
- harbor 上传 charts (helm3 不一定可行，需要结合不同的 helm 版本进行分析)：
helm fetch stable/redis-ha #下载charts
helm push redis-ha-2.0.1.tgz mylibrary #上传到私有仓库
