Python实现Federated Averaging 聚合后全局模型精度跌破20%问题排查
联邦学习全局模型聚合后准确率骤降问题
我正在开展联邦学习(Federated Learning)相关工作,搭建了全局服务端,在服务端定义了基于CNN的分类器。全局服务端配置好超参数(hyper-parameters)完成模型编译后,将模型下发至边缘端(客户端),当前共使用2个客户端。
每个客户端使用本地数据开展训练(当前测试阶段,两个客户端使用相同的本地数据与初始模型),训练完成后,各客户端本地模型的准确率(accuracy)、精确率(precision)、*召回率(recall)*均高于95%。
客户端将训练完成的本地模型回传至服务端,服务端获取各回传模型的权重,按照加权平均规则计算聚合权重。以下是我用Python编写的实现该聚合逻辑的代码,但当我将聚合得到的平均权重赋值给全局模型开展预测时,模型的准确率、精确率、召回率均跌至20%以下,请问我的实现存在什么问题?
# initial weights of global model, set to zer0. ave_weights = model.get_weights() ave_weights = [i * 0 for i in ave_weights] count = 0 # Multithreaded Python server : TCP Server Socket Thread Pool def ClientThread_send(conn, address, weights): # send model to client conn.send(model) print("Model Sent to :", address) print("waiting for weights") model_recv = conn.recv(1024) print("weights received from:", address) global count global ave_weights # receive weights from clients rec_weight = model.get_weights() # multiply the client weights by number of local data samples in client local data rec_weight = [i * 100000 for i in rec_weight] # divide the weights by total number of samples of all participants rec_weight = [i / 200000 for i in rec_weight] # sum the weights of all clients ave_weights = [x + y for x, y in zip(ave_weights, rec_weight)] count = count + 1 conn.close() if count == 2: # set the global model weights if the count(number of clients is two) model.set_weights(ave_weights) while True: conn, address = s.accept() start_new_thread(ClientThread_send, (conn, address, ave_weights))
核心问题排查
- 完全没有使用客户端回传的权重数据
你通过conn.recv(1024)拿到的客户端回传内容存在model_recv变量后,完全没有做任何解析、处理,反而直接调用服务端本地的model.get_weights()当作客户端回传的权重计算。整个聚合逻辑从头到尾用的都是服务端自己的模型权重,和客户端训练后的结果没有任何关系。 - TCP传输实现完全不可用
你直接用conn.send(model)发送Python模型对象,TCP协议只能传输字节流,客户端根本无法解析原始Python对象;同时用仅1024字节的缓冲区接收回传权重,哪怕是极小的CNN模型,权重体积也远超1024字节,必然出现数据截断,就算后续你解析model_recv也只会拿到无效的残次数据。 - 聚合完成判断的代码位置错误
你写的if count == 2: model.set_weights(ave_weights)放在全局作用域,和客户端处理函数同级,只会在服务端启动时执行一次,此时count还是初始值0,这段逻辑永远不会触发。就算后续线程里把count加到了2,这段代码也已经跑完了,不会再执行赋值操作。 - 多线程全局变量无保护
你用多线程处理客户端连接,全局变量ave_weights、count没有加互斥锁,两个线程同时读写这两个变量时,极容易出现权重累加错误、计数提前到2的问题,导致未完成聚合的权重被提前赋值给模型。 - 权重归一化逻辑冗余(非核心问题)
你先把单个客户端的权重乘100000,再除以200000,数学上等价于乘0.5,两个客户端加起来确实是平均权重,但前提是你能拿到真实的客户端权重,现在前面的步骤已经全错,这部分计算没有任何意义。
修正后的参考实现
import threading import pickle # 用来序列化权重为字节流 # 初始化全局变量、锁、总样本数 ave_weights = [0 * w for w in model.get_weights()] count = 0 lock = threading.Lock() TOTAL_SAMPLES = 200000 # 两个客户端各10万本地样本 def ClientThread_send(conn, address): global count, ave_weights # 1. 序列化全局模型权重后完整发送给客户端 global_weights = model.get_weights() serialized_weights = pickle.dumps(global_weights) conn.sendall(serialized_weights) print("模型已发送至:", address) print("等待客户端回传权重") # 2. 循环接收完整的回传权重数据,避免截断 received_buffer = b"" while True: chunk = conn.recv(4096) if not chunk: break received_buffer += chunk # 反序列化得到客户端训练后的真实权重 client_weights = pickle.loads(received_buffer) print("已从", address, "接收训练后权重") # 3. 加锁后执行聚合,避免多线程竞态 with lock: # 按本地样本数加权:单个客户端占比 10万/20万 = 0.5 weighted_weight = [w * (100000 / TOTAL_SAMPLES) for w in client_weights] ave_weights = [x + y for x, y in zip(ave_weights, weighted_weight)] count += 1 # 收齐所有客户端权重后,再更新全局模型 if count == 2: model.set_weights(ave_weights) # 重置全局变量,供下一轮聚合使用 ave_weights = [0 * w for w in model.get_weights()] count = 0 conn.close() # 主循环接收客户端连接 while True: conn, address = s.accept() start_new_thread(ClientThread_send, (conn, address))
内容的提问来源于stack exchange,提问作者Netezsche
相关产品推荐
相关产品推荐

