连接Haproxy
注意,此处连接的不在是rabbitmq节点了,而是Haproxy代理节,所以只需要配置haproxy
连接工厂
spring.rabbitmq.addresses=192.168.5.155:5677,192.168.5.155:5678
spring.rabbitmq.username=guest
spring.rabbitmq.password=guest
虚拟机
spring.rabbitmq.virtual-host=/
端口说明
-p 5678:5678 Haproxy的端口
-p 8101:8101 Haproxy管理界面端口
-p 8001:8001 Haproxy代理Mq端口
ERROR
ERROR [-,,,] 1999 --- [.168.5.155:5677] o.s.a.r.c.CachingConnectionFactory : Channel shutdown: connection error
测试成功:可发送消息可消费。但是有这个日志
ERROR处理
Google 找了很多资料,也没有找到解决方案,无意间找到一篇文章:RabbitMQ and HAProxy: a timeout issue
文章说,如果使用 HAProxy 配置 RabbitMQ 高可用集群的话,则会遇到客户端连接超时问题。
为什么会出现此问题呢?因为 HAProxy 配置了客户端连接超时参数(timeout client ms),如果客户端连接超过配置的此参数,那么 HAProxy 将会删除这个客户端连接。
RabbitMQ 客户端使用永久连接到代理,从不超时,那为什么还会出现问题?因为如果 RabbitMQ 在一段时间内处于非活动状态,那么 HAProxy 将自动关闭连接(有点坑呀😂)。
那如何解决这个问题呢?我们看到 HAProxy 提供了一个clitcpka参数配置,它可以从客户端发送TCP keepalive数据包。
我们就使用它,但发现配置了之后,还是出现了上面的问题。
为什么呢?
[…]the exact behaviour of tcp keep-alive is determined by the underlying OS/Kernel configuration[…]
什么意思?意思就是TCP keepalive数据包的发送,取决于操作系统/内核配置。
我们可以使用命令查看(HAProxy 所在服务器中的tcp_keepalive_time配置):
[root@manager1 ~]# cat /proc/sys/net/ipv4/tcp_keepalive_time
7200
tcp_keepalive_time默认配置时间 2 个小时,表示发送TCP keepalive数据包的间隔时间是 2 个小时,或者说每隔 2 个小时发送TCP keepalive数据包。
这么说就清楚了吧,虽然我们在 HAProxy 中,配置了clitcpka参数,但因为系统发送TCP keepalive数据包的间隔时间过长,远远超过 HAProxy 中的 timeout client超时时间(默认好像是 2 秒),所以客户端连接每隔 2 秒,就被 HAProxy 无情的给删除掉,然后不断的被重建。
说了那么多,我们该怎么解决此问题呢?
两种方案:
修改系统的tcp_keepalive_time配置,间隔时间低于 HAProxy 配置的timeout client超时时间(因为有可能影响其他系统服务,不推荐)。
修改 HAProxy 中的timeout client超时时间,配置大于系统的tcp_keepalive_time间隔时间(推荐)
因为系统tcp_keepalive_time发送TCP keepalive数据包间隔时间是 2 个小时,所以,我们将 HAProxy 中的timeout client超时时间,设置为 3 个小时:
timeout client 3h
timeout server 3h
修改的配置:
listen rabbitmq_cluster
bind 0.0.0.0:8001
mode tcp
option tcplog
balance roundrobin
timeout client 3h
timeout server 3h
server manager1 manager1:5672 check inter 5000 rise 2 fall 3
server manager2 manager2:5672 check inter 5000 rise 2 fall 3
server manager3 manager3:5672 check inter 5000 rise 2 fall 3
重新运行 HAProxy即可