在企业实践中，通常会部署多个OpenShift集群：开发测试、生产等。每个集群都是独立的，通过物理资源进行隔离。这种方式管理简单，易于理解，但是消耗的资源更多，每个集群都需要额外的控制节点及运维节点。有没有办法，使不同环境运行在同一个集群上，并且它们之间实现隔离呢？答案是可以的。
对于不同的环境，做好资源隔离，我们需要对计算资源——宿主机做好规划，同时还需要对网络做好规划。宿主机的隔离，可以通过给主机添加label的方法，规划pod的调度。本篇中，我们只针对网络Route部分做好开发测试环境与生产环境的隔离。
OpenShift集群Route分片机制
大家都知道OpenShift管理南北流量是通过Route来实现的，所谓的Route本质就是一个Haproxy/Nginx服务，与K8S中的Ingress类似。
默认情况下，OpenShift集群的Router是全局共用的，也就是说，在创建新的Route资源、Pod更新或者证书更新时，所有的OpenShift Router Pod都会更新Haproxy/Nginx的配置，并重新加载。所有的Route后台应用可以通过任一Router服务访问。通过创建多个Router服务，并使用Route分片机制，将不同的应用配置到不同的Router上，实现应用Router服务的隔离。下图为多Router节点分片的架构图。
该架构图中，并没有考虑将节点隔离，只是通过适当的路由来做流量划分。
- 流量入口为集群外部的负载均衡器。我们只考虑
*.apps-prod.example.com与*.apps-dev.example.com域名访问情况。
*.apps-prod.example.com域名的后端服务为router-prod
*.apps-dev.example.com域名的后端服务为router-dev - 每个router都强制设置Route的域名subdomain格式【可选】
router-prod路由设置的subdomain为：${name}-${namespace}.apps-prod.example.com
router-dev路由设置的subdomain为：${name}-${namespace}.apps-dev.example.com
$ oc adm router router-prod --replicas=2 --force-subdomain='${name}-${namespace}.apps-prod.example.com'
$ oc adm router router-dev --replicas=1 --force-subdomain='${name}-${namespace}.apps-dev.example.com'
对于已完成部署的Router服务可以使用如下命令设置
$ oc adm router router-prod --replicas=2 --force-subdomain='${name}-${namespace}.apps-prod.example.com' --dry-run -o yaml | oc apply -f -
此时新建的所有Route的host将无法自定义设置，而会被将被强制设置为两个，其格式为：${name}-${namespace}.apps-prod.example.com 与${name}-${namespace}.apps-dev.example.com。
- 接下来是最重要的一步，为每个Router应用设置Project过滤器，只有带有指定Label的Project下的Route资源才能在该Router下创建配置。
router-pod路由设置过滤器为：router=prod
router-dev路由设置过滤器为：router=dev
$ oc set env dc/router-prod NAMESPACE_LABELS="router=prod"
$ oc set env dc/router-dev NAMESPACE_LABELS="router=dev"
- 将对应的router服务与计算节点绑定
确保带有Labelrouter=prod的Router应用部署在带有Labelrouter=prod的Infra节点上，同样带有Labelrouter=dev的Router应用部署在带有Labelrouter=dev的Infra节点上。该创建步骤与步骤3合在一起的脚本如下，即在创建的时候指定Node，及环境变量
$ # prod router节点
$ oc label node infra1 "router=prod"
$ oc label node infra2 "router=prod"
$ oc adm router router-prod --replicas=2 --force-subdomain='${name}-${namespace}.apps-prod.example.com' --selector=router=prod
$ oc set env dc/router-prod NAMESPACE_LABELS="router=prod"
$ # dev router节点
$ oc label node infra3 "router=dev"
$ oc adm router router-dev --replicas=1 --force-subdomain='${name}-${namespace}.apps-dev.example.com' --selector=router=dev
$ oc set env dc/router-dev NAMESPACE_LABELS="router=dev"
- 设置对应Label的Project，将会自动匹配该Project下的Route资源与Router服务
创建新的project，添加Labelrouter=prod，将会把该Project下的Route资源配置在prod Router服务中，同理Labelrouter=dev下的Route资源配置将会在dev Router服务中配置。
$ # 创建project project-prod-1设置Label router=prod
$ oc new-project project-prod-1
$ oc label namespace project-prod-1 router=prod
$ # 创建project project-dev-1设置Label router=dev
$ oc new-project project-dev-1
$ oc label namespace project-dev-1 router=dev
- 此时创建的应用，将会自动进行Router选择配置。Project
router=prod下创建的Route将会自动在Routerrouter=prod下配置，同时它的域名格式为：
${name}-${namespace}.apps-prod.example.com。
同样的Projectrouter=dev下创建的Route将会自动在Routerrouter=dev下配置，同时它的域名格式为：
${name}-${namespace}.apps-dev.example.com。
补充
以上是通过Router启动添加NAMESPACE_LABEL来设置项目级别的分片，也可以通过为dc/route中的ROUTE_LABEL环境变量来设置Route级别的分配。
- 为dc/route设置ROUTE_LABEL
$ oc set env dc/router-prod ROUTE_LABELS="router=prod"
- 为Route资源对象指定Label
$ oc label route <route=name> router=prod
该route只会部署在设置有router=prod的路由节点上配置。
- 如果要在一台节点上部署多个Router实例来承载业务，需要注意其HTTP、HTTPS、STATS端口不能重复。该端口可以通过
ROUTER_SERVICE_HTTP_PORT、ROUTER_SERVICE_HTTPS_PORT、ROUTER_LISTEN_ADDR环境变量进行设置。
总结
- 企业级容器云平台建设之资源管理一文中，总结了资源管理分为四部分：计算、网络、存储、镜像仓库。真正实现不同环境的隔离，这四个方面都需要考虑。本文的主要内容说明了网络部分南北流量的隔离。
- 通过Route流量分片机制，将不同环境下的应用部署在同一个OpenShift集群中，在满足网络南北流量隔离的情况下，减少了集群的数量，节约管理及硬件成本。
- 要实现集群网络中东西流量的隔离，可以在不同环境下的宿主机之间建立防火墙来实现，同时也可以使用OpenShift的
ovs-multitenant或者ovs-networkpolicy网络策略来实现。可阅读之前写的文章：Openshift的网络策略networkpolicy - 计算隔离必须保证不同环境下的应用不会运行在同一台宿主机下，以避免它们之间相互影响，抢占资源。这就需要使用OpenShift的调度策略来实现。可阅读之前写的文章：玩转Openshift中Pod调度
- 存储隔离。可以通过创建不同的storageclass为不同的环境提供服务。
- 镜像仓库隔离。可以创建多个镜像仓库，同时也可以使用一套镜像仓库，而使用不同的project来作镜像间的逻辑隔离。
参考文章
OpenShift Router Sharding for Production and Development Traffic
OpenShift Route配置加载的机制可以参考文章：OpenShift Router配置重新加载机制
官方文档：Using the Default HAProxy Router
OpenShift Router Sharding
OpenShift Using Router Shards
