Service & Ingress
熟悉 k8s 的同学都知道，k8s 为了能够访问部署在其内部的服务，抽象出一个称为 Service 的对象，这个 Service 对象就好比一组 Pod (也可理解成一组服务) 的 LoadBalance，这样就避免了每次重启容器 IP 地址变动的问题。
大多数情况，部署在 k8s 中的都是 Web 服务器，为每一个 Web 服务器都去分配一个 LoadBalance 显得过于浪费。为了解决这个问题，k8s 又抽象出一个称为 Ingress 的对象，这个 Ingress 对象可以简单看作一个 Web 反向代理，如下图，可以根据请求域名，请求 path 将请求转发至具体的 Pod。
那么，根据文章标题「外部访问k8s中的Web服务方案」，似乎使用 Ingress 就能解决，但往往是 "理想很丰满 现实很骨感"，Ingress 并不能完全兼容我们目前的情况。
1.0 手动模式
在没使用 k8s 之前，我们是通过 Nginx 作为 Web 的反向代理服务器，Nginx 的配置中有很多 rewrite 规则，lua 脚本；在使用 k8s 之后，这些 Nginx 配置不能完全地迁移到 Ingress 中，所以就用了如下图的方案：
图中 ➀ 的 Nginx 部署在 k8s 集群中，还继续使用之前的配置，不同的是将请求转发至相应的 Service 上。但这有个很大的问题就是每新增一个应用，我都需要手动地查询出 Service 对象的 IP，并增加 Nginx 的配置。随着服务的越拆越微，手动维护的成本就越来越高，自动化的方案就越来越迫切。
1.5 解析请求的方式
此方案就是重请求的 url 中解除拼接出 k8s 的 service name, 并通过 proxy_pass 直接转发。不过可以看出此方案具有一定的局限性，接口的地址必须提前约定好。
# 这里配置 kube-dns 地址
resolver x.x.x.x;
location / {
set $service '';
# 通过 lua 请求请求域名中解析并拼接出 k8s service
rewrite_by_lua '
local host = ngx.var.host;
local m = ngx.re.match(host, "(.+).aihaisi.com")
if m then
ngx.var.service = "my-svc-" .. m[1]
end
';
// 直接转发至k8s 的service name, 这里需要设置下 nginx 使用 k8s 的 kube-dns 进行解析域名
proxy_pass http://$service;
}
也可以不用 lua，用nginx 的 rewrite 正则截取
# 这里配置 kube-dns 地址
resolver x.x.x.x;
location / {
rwrite ^/([a-zA-Z0-9]*)/(.+)$ /$2 break;
proxy_pass http://$1/$2$is_args$args;
}
2.0 自动模式
如下图所示，该方案只是新增了图中 ➁ 的 Nginx Ingress。利用 Nginx 的泛域名转发，将没有匹配到的域名全部转发给 Ingress, 再由 Ingress 配置的规则转发至具体的后端服务中。
因为我们大多数情况下的转发配置还是很简单的，使用 Ingress 完全能满足。这样就在创建应用的自动化流程中新增一个 Ingress 资源，而不用去手动维护 Nginx 的配置了。
比如我在 ➀ 中的 Nginx 配置如下：
...
// 具体的 xx.mydomain.com 域名转发至具体的 Service
server {
listen 80;
server_name xx.mydomain.com;
location / {
proxy_pass http://xx;
}
}
// 没有匹配到的 mydomain.com 域名都转发至 ingress
server {
listen 80;
server_name ~^([\w-]+)\.mydomain\.com$;
location / {
proxy_pass http://ingress-controller;
}
}
...
Invalid CORS request
但是在迁移该方案后，在使用 HTTPS 的情况下，访问出现了 403 Invalid CORS request 的错误，出现了跨域的问题，看了后端的 Spring Boot 有个 CORS 的配置：
...
@Configuration
@EnableSpringDataWebSupport
public class WebConfig implements WebMvcConfigurer {
...
@Override
public void addCorsMappings(CorsRegistry registry) {
registry.addMapping("/**").allowedOrigins("http://localhost:8080");
}
}
这里的 allowedOrigins 只是 http://localhost:8080，但为什么使用 HTTP 去访问没问题呢，继续 Debug 跟踪发现 DefaultCorsProcessor 类中的 processRequest 方法有关， processRequest 会对请求做 CORS 的检测：
其中有个 isSameOrigin 方法会取 http header 中的 X-Forwarded-Proto X-Forwarded-Host X-Forwarded-Port 去与 header 中的 Origins 地址去对比，一致则能通过；
之前在 ➀ 中的 Nginx 就将这些相关的信息放在 header 中透传给后端了：
...
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-Host $http_host;
proxy_set_header X-Forwarded-Port $server_port;
...
看来是 ➁ 中的 Nginx Ingress 没有把这个信息继续透传过去，继续看 Nginx Ingress 源码，发现它是根据一个 golang 的 nginx 模版 nginx.tmpl 生成 Nginx 的配置：
可见模版中对 X-Forwarded-Proto X-Forwarded-Host X-Forwarded-Port 进行了重新配置，但这三个变量 $best_http_host $pass_port $pass_access_scheme 好像不是 Nginx 的内置变量，继续看是在哪里定义的，发现在 lua_ingress.lua 中有如下定义：
从上面的代码我们可以知道，默认情况下这三个变量直接取了 Nginx 的内置变量 ngx.var.scheme ngx.var.server_port ngx.var.http_host; ➀ 中的 Nginx 承接外部的流量并提供了 HTTP 和 HTTPS，但在将请求代理给 ➁ 中的 Nginx Ingress 使用了 HTTP 协议，所以当你使用 HTTPS 去访问时，Origin 中的 schema 是 HTTPS，而从 ngx.var.scheme 获取到的值是 HTTP，这就是为什么使用 HTTPS 访问会出现跨域的错误了。
所以在配置 Nginx Ingress 时，设置 use-forwarded-headers 为 true（默认是 false），就能使用 ➀ 中 Nginx 透传过来的配置了。
访问客户端真实的 IP
在之前的方案中将 ➀ 中 Nginx $remote_addr 获取到的客户端真实 IP 放在 http header X-Real-IP 传给后端：
proxy_set_header X-Real-IP $remote_addr;
但 ➁ 中的 Nginx Ingress 好像又对 X-Real-IP 做了处理，他直接使用了 $remote_addr， 这样岂不是获取到的都是 ➀ 中 Nginx 的 IP 了。
但是情况并不是这样的，它确能够获取到真实的 IP，这里就比较奇怪了，找了很久的代码都没发现有对 $remote_addr 变量有处理，后来发现它是直接使用了 Nginx 的 ngx_http_realip 模块进行处理，简单来说就是解析 http header 中的 X-Forwareded-For 中的地址，从而获取真实的 IP，在 ➁ 中的模版中有一段关于 ngx_http_realip 模块的配置：
有关于 ngx_http_realip 模块可以参考我的另一篇文章 ngx_http_realip模块获取客户端真实IP
小结
如果用 2.0 的自动化方案，➀ 中的 Nginx 需要 http header 中传递相关信息，配置如下：
server {
listen 80;
server_name ~^([\w-]+)\.mydomain\.com$;
return 301 https://$host$request_uri;
}
server {
listen 443 ssl;
server_name ~^([\w-]+)\.mydomain\.com$;
include wildcard_ssl_conf;
location / {
proxy_http_version 1.1;
proxy_pass http://nginx-ingress;
proxy_set_header Host $host;
# spring cors check
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-Host $http_host;
proxy_set_header X-Forwarded-Port $server_port;
# websocket
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection $connection_upgrade;
# real ip
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
➁ 中的 Nginx Ingress 需要通过 ConfigMap 来配置 use-forwarded-headers:
apiVersion: v1
data:
use-forwarded-headers: "true"
kind: ConfigMap
metadata:
name: nginx-ingress-controller
namespace: nginx-ingress
