写在前面
本文旨在描述cluster模式下的socket.io连接解决方案，假设读者已经了解了websocket协议和socket.io。相关扫盲请参阅以下文献：
《WebSocket 教程 by 阮一峰》
What-Socket-IO-is
socket.io建立通信过程
默认地，一个long-polling连接将被首先创建，接着会发送一个websocket upgrading请求，服务端响应该请求，从而建立起websocket通信。
流程如下：
- 向服务端请求创建唯一的session，该session存储在内存中（long-polling）
- 客户端拿到这个session id后，发出一个升级请求，请求升级为使用websocket协议通信
HTTP/1.1 101 Web Socket Protocol Handshake - 通信协议升级成功
Tip: 这里附上long-polling通信扫盲，及其简易实现。
cluster模式下的问题
由于cluster下多个进程间拥有自己独立的运行空间，这就要求从long-polling通信升级到websocket通信的过程中，多次请求都落到最初创建session的服务端，否则，就会导致unknown session id，造成通信失败的后果。我们可以将这个过程称为session sticky。
session sticky思路
归根结底，解决这个问题的关键就在于how to sticky session。一般地，我们可以通过ip hash的方式，即将来源于同一个IP的所有请求，负载到相同的服务器，这样就达到了最终目的。此外，我们也可以通过其他hash的方式来进行session sticky，只要该方式能够唯一标识用户即可（例如cookie）。
Note: 采用ip hash的方式，实际操作中可能会导致一定程度上负载不均，由于运营商的原因，会导致许多客户端请求共用同一个外网地址，可以在实现上酌情进行调整。
nginx + node cluster + socket.io
具体解决场景基于nginx，node cluster和socket.io实现。
基本思路是，nginx作为负载服务器处理所有socket.io path请求，根据ip hash进行session sticky。最终，将同一个客户端来源请求负载到相同的socket.io server上。
Note: 其中node cluster模式通过pm2开启。
- socket.io创建socket通信实例（即socket.io server），并根据子进程child worker id创建并监听独立的端口号
- nginx处理upgrade websocket请求
- 声明upstream，采用ip hash进行session sticky负载
socket.io部分代码
// ...
// pm2集群模式下的子进程实例编号，根据CPU cores数量生成（从0开始，直至cores.length - 1）
var WORKER_PROCESS = process.env.NODE_APP_INSTANCE || '0';
var port = 4000;
var sioPort = port + WORKER_PROCESS; // 40000, 40001, ... 4000n
// 创建socket.io server
var io;
io = new socketIO({
path: '/wspath',
transports: ['polling', 'websocket']
});
io.attach(sioServer);
sioServer.listen(sioPort, function () {
console.log('socket.io server listening on *:' + sioPort);
});
nginx部分代码
http {
server {
listen 4000;
server_name io.yourhost.com;
location /wspath {
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $host;
proxy_pass http://cluster;
# enable WebSockets
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
}
}
upstream cluster {
# enable sticky session based on IP
ip_hash;
server node:40000;
server node:40001;
server node:40002;
server node:40003;
}
}
结语
本文仅仅讲述了node cluster模式下的session sticky方案，在实际项目中，服务器架构可能如下图所示，仅供参考：
参考文献
https://nodejs.org/api/cluster.html#cluster_how_it_works
https://socket.io/docs/using-multiple-nodes
