一、Service 的概念
Kubernetes Service定义了这样一种抽象:一个Pod的逻辑分组,一种可以访问它们的策略 —— 通常称为微服务。这一组Pod能够被Service访问到,通常是通过Label Selector
Service能够提供负载均衡的能力,但是在使用上有以下限制:
- 只提供 4 层负载均衡能力,而没有 7 层功能,但有时我们可能需要更多的匹配规则来转发请求,这点上 4 层负载均衡是不支持的
二、Service 的类型
Service 在 K8s 中有以下四种类型
-
① ClusterIp:默认类型,自动分配一个仅 Cluster 内部可以访问的虚拟 IP【service创建一个仅集群内部可访问的ip,集群内部其他的pod可以通过该服务访问到其监控下的pod】
-
② NodePort:在 ClusterIP 基础上为 Service 在每台机器上绑定一个端口,这样就可以通过:NodePort 来访问该服务【在service及各个node节点上开启端口,外部的应用程序或客户端访问node的端口将会转发到service的端口,而service将会依据负载均衡随机将请求转发到某一个pod的端口上。一般暴露服务常用的端口】
-
③ LoadBalancer:在 NodePort 的基础上,借助 cloud provider 创建一个外部负载均衡器,并将请求转发到: NodePort【在NodePort基础之上,即各个节点前加入了负载均衡器实现了真正的高可用,一般云供应商提供的k8s集群就是这种】
-
④ ExternalName:把集群外部的服务引入到集群内部来,在集群内部直接使用。没有任何类型代理被创建,这只有 kubernetes 1.7 或更高版本的 kube-dns 才支持【当我们的集群服务需要访问k8s之外的集群时,可以选择这种类型,然后把外部服务的IP及端口写入到k8s服务中来,k8s的代理将会帮助我们访问到外部的集群服务】
svc基础导论
总结:
- 客户端访问节点时通过iptables实现的,
- iptables规则是通过kube-proxy写入的,
- apiserver通过监控kube-proxy去进行对服务和端点的监控,
- kube-proxy通过pod的标签(lables)去判断这个断点信息是否写入到Endpoints里去。
三、VIP 和 Service 代理
在 Kubernetes 集群中,每个 Node 运行一个kube-proxy进程。kube-proxy负责为Service实现了一种VIP(虚拟 IP)的形式,而不是ExternalName的形式。在 Kubernetes v1.0 版本,代理完全在 userspace。在Kubernetes v1.1 版本,新增了 iptables 代理,但并不是默认的运行模式。从 Kubernetes v1.2 起,默认就是iptables 代理。在 Kubernetes v1.8.0-beta.0 中,添加了 ipvs 代理
在 Kubernetes 1.14 版本开始默认使用ipvs 代理
在 Kubernetes v1.0 版本,Service是 “4层”(TCP/UDP over IP)概念。在 Kubernetes v1.1 版本,新增了Ingress API(beta 版),用来表示 “7层”(HTTP)服务
为何不使用 round-robin DNS?
DNS会在很多的客户端里进行缓存,很多服务在访问DNS进行域名解析完成、得到地址后不会对DNS的解析进行清除缓存的操作,所以一旦有他的地址信息后,不管访问几次还是原来的地址信息,导致负载均衡无效。
四、代理模式的分类
1、userspace 代理模式
- 客户端首先访问iptables通过iptables访问到kube-proxy然后访问到具体的pod上
- 也就是说每次访问的时候都需要Kube-proxy进行一次代理
- 也就是说kube-proxy压力是非常大的
-
同时kube-apiserver也会监控kube-proxy服务更新及端点的维护
2、iptables 代理模式
- 舍弃掉了kube-proxy,所有访问直接通过iptables而不需要kube-proxy去调度
- 这样的话访问速度就会大大增加以及kube-proxy稳定性会提高压力将会减少很多
- 当然使用iptables(防火墙)性能并不会怎么高,但除此之外几乎没有什么缺点。
-
kube-apiserver依然通过监控kube-proxy去实现iptables的端口的更新维护
3、ipvs 代理模式
- 将iptables代理模式中iptables变更为ipvs,原来是把所有的调度规则通过iptables
- 进行所谓的服务转发定向的变成了通过ipvs模块去实现负载均衡以及流量导向,并且和
- iptables代理模式相同,所有的访问也是不经过kube-proxy的
-
如果没有提前安装ipvs模块以及一些基本需求没有完成,那些k8s将会使用iptables的代理模式
这种模式,kube-proxy 会监视 Kubernetes Service对象和Endpoints,调用netlink接口以相应地创建ipvs 规则并定期与 Kubernetes Service对象和Endpoints对象同步 ipvs 规则,以确保 ipvs 状态与期望一致。访问服务时,流量将被重定向到其中一个后端 Pod
与 iptables 类似,ipvs 于 netfilter 的 hook 功能,但使用哈希表作为底层数据结构并在内核空间中工作。这意味着 ipvs 可以更快地重定向流量,并且在同步代理规则时具有更好的性能。此外,ipvs 为负载均衡算法提供了更多选项,例如:
- ①rr:轮询调度
- ②lc:最小连接数
- ③dh:目标哈希
- ④sh:源哈希
- ⑤sed:最短期望延迟
- ⑥nq:不排队调度
注意: ipvs模式假定在运行kube-proxy之前在节点上都已经安装了IPVS内核模块。当kube-proxy以ipvs代理模式启动时,kube-proxy将验证节点上是否安装了IPVS模块,如果未安装,则kube-proxy将回退到iptables代理模式
#查看ipvs代理规则
ipvsadm -Ln
五、ClusterIP
clusterIP 主要在每个 node 节点使用 iptables,将发向 clusterIP 对应端口的数据,转发到 kube-proxy 中。然后 kube-proxy 自己内部实现有负载均衡的方法,并可以查询到这个 service 下对应 pod 的地址和端口,进而把数据转发给对应的 pod 的地址和端口
为了实现图上的功能,主要需要以下几个组件的协同工作:
- apiserver:用户通过kubectl命令向apiserver发送创建service的命令,apiserver接收到请求后将数据存储到etcd中
- kube-proxy:kubernetes的每个节点中都有一个叫做kube-porxy的进程,这个进程负责感知service,pod的变化,并将变化的信息写入本地的iptables规则中
- iptables:使用NAT等技术将virtualIP的流量转至endpoint中
创建 myapp-deploy.yaml 文件
apiVersion: apps/v1
kind: Deployment
metadata:
name: myapp-deploy
namespace: default
spec:
replicas: 3
selector:
matchLabels:
app: myapp
release: stabel
template:
metadata:
1abels:
app: myapp
release: stabel
env: test
spec:
containers:
- name: myapp
image: fanqisoft/myapp:v2
imagePullPolicy: IfNotPresent
ports:
- name: http
containerPort: 80
创建 Service 信息
apiVersion: v1
kind: Service
metadata:
name: myapp
namespace: default
spec:
type: ClusterIP
selector:
app: myapp
release: stabel
ports:
- name: http
port: 80
targetPort: 80
六、Headless Service【无头服务,无头服务也是一种Cluster IP,只不过是一种特殊的Cluster IP】
有时不需要或不想要负载均衡,以及单独的Service IP。遇到这种情况,可以通过指定 ClusterIP(spec.clusterIP)的值为“None”来创建 Headless Service。这类Service 并不会分配 Cluster IP,kube-proxy 不会处理它们,而且平台也不会为它们进行负载均衡和路由
主要的特点是通过无头服务的方式去解决hostname和portname的变化问题,也就是通过它去进行绑定
apiVersion: v1
kind: Service
metadata:
name: myapp-headless
namespace: default
spec:
selector:
app: myapp
clusterIP: "None"
ports:
- port: 80
targetPort: 80
对于svc,一旦创建成功以后,它会写入到coreDNS中去,我们的svc的创建会有一个主机名会被写入到coreDNS,写入的格式体就是 svc的名称+命名空间的名称+当前集群的域名
yum -y install bind-utils
dig -t A myapp-headless.default.svc.cluster.local. @10.96.0.10
意味着在无头服务中,虽然它没有ip了,但可以通过访问域名的方案依然可以访问服务下的pod
七、 NodePort
nodePort的原理在于在node上开了一个端口,将向该端口的流量导入到kube-proxy,然后由 kube-proxy进一步到给对应的pod
apiVersion: v1
kind: Service
metadata:
name: myapp
namespace: default
spec:
type: NodePort
selector:
app: myapp
release: stabel
ports:
- name: http
port: 80
targetPort: 80
#查询流程
iptables -t nat -nvL
KUBE-NODEPORTS
八、LoadBalancer
loadBalancer和nodePort 其实是同一种方式。区别在于 loadBalancer 比nodePort多了一步,就是可以调用cloud provider【云供应商】 去创建LB【负载均衡】来向节点导流
九、ExternalName
这种类型的 Service 通过返回 CNAME和它的值,可以将服务映射到externalName字段的内容(例如:hub.yibo.cn)。ExternalName Service 是Service的特例,它没有 selector,也没有定义任何的端口和Endpoint。相反的,对于运行在集群外部的服务,它通过返回该外部服务的别名这种方式来提供服务
apiVersion: v1
kind: Service
metadata:
name: my-service
namespace: default
spec:
type: ExternalName
externalName: hub.yibo.cn
当查询主机 my-service.defalut.svc.cluster.local(SVC_NAME.NAMESPACE.svc.cluster.local)时,集群的DNS 服务将返回一个值my.database.example.com的CNAME记录。访问这个服务的工作方式和其他的相同,唯一不同的是重定向发生在DNS层,而且不会进行代理或转发。
iptables详解:http://www.zsythink.net/archives/1199/
ipvs详解:https://www.cnblogs.com/hongdada/p/9758939.html
LVS详解:https://blog.csdn.net/Ki8Qzvka6Gz4n450m/article/details/79119665