Kubernetes部署中支持状态共享的WebSocket服务器集群方案咨询

核心设计目标对齐 #

• 剥离Node实例的状态存储职责，所有连接元数据、业务会话状态全局共享，单实例不持有任何不可替代的持久状态
• 负载均衡层无需配置会话粘性，任意实例都可承接任意客户端的请求，客户端侧不需要记录自身连接的具体实例信息
• 实例可随时销毁、替换、扩缩容，不需要做状态迁移操作，单实例无额外全局状态管理开销

分层实现方案 #

1. 流量接入层配置 #

直接使用K8s 原生Service/Ingress承接WebSocket流量，将会话亲和性设置为None（即关闭粘性会话），采用默认轮询负载策略即可。接入层只需要正常透传WebSocket升级相关头：

# Service 核心配置片段
spec:
  sessionAffinity: None
  ports:
  - port: 80
    targetPort: 3000
    protocol: TCP

不需要在接入层做任何和实例标识相关的逻辑，也不需要给客户端返回实例路由信息。

2. Node 服务端实现逻辑 #

• 部署模式：Node服务直接以单进程模式打包容器镜像，不需要使用Node.js内置的cluster模块做多核利用，靠K8s调整副本数做水平扩缩容，故障隔离性更好。单实例内存仅需维护当前承接的连接Socket句柄，不需要缓存全量集群状态，内存开销稳定可控。
• 连接建立阶段：客户端完成WebSocket握手后，服务端生成全局唯一连接ID，将连接ID与对应用户身份、会话上下文、临时业务状态序列化后写入共享存储，过期时间和连接超时配置对齐；同时将「连接ID/用户ID -> 当前实例Pod标识」的映射关系写入共享存储。
• 消息处理阶段：任意实例收到客户端请求时，先根据请求携带的连接ID/用户标识从共享存储拉取全量会话上下文，直接在当前实例完成业务逻辑处理；如果需要向指定用户推送消息，先查询映射关系找到连接所在的实例，通过跨实例消息通道投递消息，由持有对应Socket句柄的实例完成下发，整个过程对客户端完全透明。
• 连接断开阶段：实例监听到本地连接断开事件后，异步删除共享存储中对应的会话数据、节点映射数据即可，不需要通知集群其他节点。
• 实例下线阶段：K8s触发Pod终止信号时，不需要做任何状态迁移操作，直接等待现有连接超时后重连即可，所有会话状态都保存在共享存储，客户端重连到任意新实例都能直接恢复上下文。

3. 全局共享存储选型 #

优先选择低延迟内存型存储，满足WebSocket场景的读写性能要求：

• 常规量级场景（单集群连接数<10w）直接使用单实例/主从版Redis即可，用Hash结构存储会话状态，用Pub/Sub能力实现跨实例消息通道
• 大规模场景可替换为Redis Cluster或分布式内存网格，上层业务逻辑不需要做调整

4. 性能优化点 #

• 实例本地可维护短周期（比如1分钟）的连接-节点映射缓存，减少共享存储的查询频次，正常场景下缓存命中率可以达到95%以上，额外性能开销极低
• 共享存储的Key设置合理的过期时间，避免异常断连导致的脏数据堆积

集群有效性验证 #

部署完成后可通过故障演练确认能力符合预期：

• 随机删除任意比例的运行中Pod，观察客户端自动重连后是否能正常收发消息，会话状态无丢失
• 快速扩容/缩容集群副本数，观察新启动的Pod是否可以立刻承接流量，不需要做状态预热
• 客户端侧全程不需要修改逻辑，不需要感知后端实例的变化

内容的提问来源于stack exchange，提问作者Sony Joseph