Python如何实现多机部署socket服务并保持节点数据一致？

问题背景 #

现有单节点Python TCP Socket服务代码如下，需要在多台服务器部署同套服务端，要求所有节点运行数据完全同步，包括客户端连接列表、全局运行变量，实现全节点消息互通：

import socket 
import threading

HEADER = 64
PORT = 5050
SERVER = "0.0.0.0"
ADDR = (SERVER, PORT)
FORMAT = 'utf-8'
DISCONNECT_MESSAGE = "!DISCONNECT"

clients = []

server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.bind(ADDR)

def handle_client(conn, addr):
    print(f"[NEW CONNECTION] {addr} connected.")
    connected = True
    clients.append(conn)
    while connected:
        msg_length = conn.recv(HEADER).decode(FORMAT)
        if msg_length:
            msg_length = int(msg_length)
            msg = conn.recv(msg_length).decode(FORMAT)

            for items in clients:
                items.send(msg.encode(FORMAT))

            if msg == DISCONNECT_MESSAGE:
                connected = False
            
            print(f"[{addr}] {msg}")
    conn.close()
        

def start():
    server.listen()
    print(f"[LISTENING] Server is listening on {SERVER}")
    while True:
        conn, addr = server.accept()
        thread = threading.Thread(target=handle_client, args=(conn, addr))
        thread.start()
        print(f"[ACTIVE CONNECTIONS] {threading.activeCount() - 1}")

if __name__ == "__main__":
    print("[STARTING] server is starting...")
    start()

核心误区提前说明：Socket连接对象是和所在机器内核绑定的文件描述符，无法跨机器序列化传输，不要尝试把全量客户端连接同步到所有节点本地内存，同步过去的连接对象完全不可用。每个节点只需要存储本机承接的客户端连接即可，跨节点消息通过节点间的通信通道转发。

可行实现方案 #

方案1：Redis中心化同步（改造量最小，适合中小规模集群） #

这是落地成本最低的方案，不需要重构现有代码逻辑：

• 额外部署1组Redis实例（生产环境可以搭Redis哨兵/集群保证高可用），作为全局状态存储和消息广播中转
• 各节点启动后做三件事：
  • 连接Redis，把全局运行变量全部迁移到Redis存储，所有节点读写变量都走Redis，不再存在本地内存
  • 订阅Redis的全局消息广播通道，启动独立后台线程监听广播消息，收到消息后遍历本机存储的客户端连接推送消息
  • 客户端连接/断开时，把连接元信息（所属节点ID、客户端地址、连接时间）写入Redis的全局连接列表，同时通过Redis发布连接/断开事件，让其他节点更新全局视图
• 核心改造代码片段参考：

import redis
# 每个节点配置唯一ID
NODE_ID = "node_1"
# 本地仅存储当前节点承接的客户端连接，不存全量
local_clients = []

# 初始化Redis连接
r = redis.Redis(host="redis节点IP", port=6379, db=0, decode_responses=True)
pubsub = r.pubsub()
pubsub.subscribe("socket_broadcast_channel")

def broadcast_listen():
    """后台线程监听全局广播消息，推送给本地所有客户端"""
    for msg in pubsub.listen():
        if msg["type"] == "message":
            send_data = msg["data"].encode(FORMAT)
            # 遍历本地连接发送，失效连接直接清理
            for conn in local_clients.copy():
                try:
                    conn.send(send_data)
                except Exception:
                    local_clients.remove(conn)

# 启动监听线程
threading.Thread(target=broadcast_listen, daemon=True).start()

• 原代码逻辑改动点：
  • 新客户端接入时，把conn加入local_clients而非全局clients列表，同时在Redis中记录该连接所属节点
  • 收到客户端消息时，不再直接遍历本地连接发送，而是把消息发布到Redis广播通道
  • 客户端断开时，从local_clients移除连接，同时删除Redis中对应的连接记录

方案2：Gossip对等集群（无中心化，适合大规模节点集群） #

如果不想引入中心化的Redis依赖，可以采用无中心的Gossip协议搭建集群：

• 所有节点地位对等，启动时配置几个集群内的种子节点地址，启动后自动和集群内其他节点建立通信连接
• 状态同步采用流行病传播协议：每个节点定期（默认1s/次）把自己本地的状态变更（新连接、断开事件、变量更新、收到的客户端消息）随机发送给3-5个相邻节点，相邻节点收到后再继续转发，最终所有节点达到状态最终一致
• 可以直接使用成熟的Python Gossip库，不需要自己实现协议逻辑，开发量和方案1接近
• 缺点是状态同步有几百毫秒到1秒的延迟，对实时性要求极高的场景不适用

方案3：四层负载均衡+共享存储（适合公网生产部署） #

如果服务需要对外网用户提供服务，推荐在集群前加四层TCP负载均衡：

• 采用LVS或者云厂商的TCP型负载均衡，开启源IP会话保持，确保同一个客户端的TCP连接始终转发到同一个后端节点，避免连接漂移
• 全局状态和消息广播逻辑和方案1一致，统一走Redis存储和中转
• 客户端只需要连接负载均衡的统一入口IP，不需要感知后端节点的真实地址，同时负载均衡可以自动剔除故障节点，可用性更高

注意事项 #

• 所有节点之间的通信端口要开放防火墙规则，避免同步连接被拦截
• 客户端连接、节点间同步连接都要加心跳检测，失效连接及时清理，避免内存泄漏
• 全局状态写入要加简单的分布式锁，避免多节点同时修改变量导致数据不一致
• 如果需要做定向消息推送（比如给某个特定客户端发消息），先从Redis查该客户端所属的节点ID，再把消息转发给对应节点，由对应节点完成本地推送即可

内容的提问来源于stack exchange，提问作者NoName