Nginx作为负载均衡器时Socket.io异常连接问题排查

核心问题出在哪？ #

• Socket.io 依赖持久化的WebSocket连接和会话粘性，默认轮询负载均衡会把同一个客户端的请求分发到不同实例，导致连接反复断开重连，刷出大量无效日志，同时没法维持正常通信。
• Nginx 默认配置没正确处理 Socket.io 的 HTTP 升级请求（从HTTP切换到WebSocket的过程），直接导致连接建立失败或异常。

步骤1：修正Nginx负载均衡配置 #

得给Nginx加上WebSocket支持，同时开启会话粘性，确保同一个用户始终连到同一个Socket.io实例。参考配置如下：

http {
    upstream socket_nodes {
        # 用ip_hash绑定客户端IP到固定实例，或者用sticky cookie更可靠
        ip_hash;
        # sticky cookie io_session expires=1h domain=.yourdomain.com path=/;
        server localhost:3000;
        server localhost:3001;
        server localhost:3002;
    }

    server {
        listen 80;
        server_name yourdomain.com;

        location /socket.io/ {
            proxy_pass http://socket_nodes;
            # 必须开启HTTP/1.1才能支持WebSocket升级
            proxy_http_version 1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
            
            # 加长超时时间，避免Nginx主动掐断长连接
            proxy_connect_timeout 7d;
            proxy_send_timeout 7d;
            proxy_read_timeout 7d;
        }

        # 其他HTTP请求转发（如果有）
        location / {
            proxy_pass http://socket_nodes;
            proxy_set_header Host $host;
        }
    }
}

关键配置说明：

• ip_hash/sticky cookie：把同一个客户端绑定到固定实例，解决Socket.io的会话粘性需求
• Upgrade/Connection头：让Nginx正确处理WebSocket协议升级
• 长超时：防止Nginx因为长时间无数据断开WebSocket连接

步骤2：调整Socket.io客户端配置 #

客户端要连Nginx的代理地址，别直接连单个实例，还可以显式指定传输方式减少无效重试：

// 客户端代码示例
import { io } from "socket.io-client";

const socket = io("http://yourdomain.com", {
    transports: ["websocket", "polling"], // 优先用WebSocket，不行再降级轮询
    reconnectionDelayMax: 10000, // 限制重连延迟，别频繁重试刷日志
    autoConnect: true
});

步骤3：检查Socket.io服务端配置 #

确保服务端允许跨域（如果客户端和Nginx不在同一域），并且信任代理头获取真实客户端IP：

// 服务端代码示例
const { Server } = require("socket.io");
const http = require("http");

const server = http.createServer();
const io = new Server(server, {
    cors: {
        origin: "http://yourclientdomain.com", // 填你的客户端域名
        methods: ["GET", "POST"]
    },
    trustProxy: true // 信任Nginx的代理头，拿到真实客户端IP
});

// 你的Kafka消息同步逻辑保持不变
// ...

server.listen(3000); // 3001、3002实例同理修改端口

额外排查点 #

• 检查Kafka配置：确保所有Socket.io实例都能正常连接Kafka，消息能在实例间同步（毕竟用户连不同实例，得靠Kafka传消息）
• 看Nginx日志：/var/log/nginx/access.log和error.log里有没有连接升级失败、404之类的错误
• 关掉Socket.io的调试日志：如果开了调试模式，先关了，避免大量调试信息干扰排查

内容的提问来源于stack exchange，提问作者Abhishek