TensorFlow Federated框架下本地与联邦全局模型性能对比方法咨询

完全可以实现逐轮对比15个客户端本地模型与联邦全局模型的性能需求，核心思路是自定义TFF的客户端执行逻辑，在返回模型更新的同时同步返回本地评估结果，无需修改原有联邦训练的核心聚合逻辑。

• 第一步：改造客户端更新函数，在本地训练执行前后各新增一次评估：训练前先评估本轮下发的全局模型在客户端本地测试集的准确率，本地训练完成后再评估更新后的本地模型在同一份测试集的准确率，把两个准确率值和模型更新参数一起作为客户端输出返回。
• 第二步：调整联邦计算流程的聚合逻辑，不需要对客户端返回的准确率做聚合，直接把所有15个客户端的两类准确率按对应关系留存即可，模型更新部分仍按原有规则聚合得到新的全局模型。
• 第三步：逐轮存储准确率结果，每轮通信结束后你就可以获得该轮所有客户端的本地模型准确率、全局模型在该客户端数据上的准确率，直接做横向和纵向的性能对比。

# 定义模型输入输出格式，和你原有训练逻辑保持一致
MODEL_WEIGHTS_TYPE = tff.types.type_from_tensors(your_model.trainable_weights)
CLIENT_DATA_TYPE = tff.types.SequenceType(element_type=your_dataset_element_spec)

@tff.tf_computation(MODEL_WEIGHTS_TYPE, CLIENT_DATA_TYPE)
def client_update(server_weights, client_data):
    # 初始化本地模型
    local_model = build_your_model()
    local_model.set_weights(server_weights)
    
    # 拆分当前客户端的训练/测试数据
    train_data, test_data = split_client_data(client_data)
    
    # 1. 计算全局模型在本地的准确率
    global_eval_res = local_model.evaluate(test_data, verbose=0)
    global_acc_on_local = global_eval_res[1] if your_model.output_accuracy else global_eval_res['accuracy']
    
    # 执行原有本地训练逻辑
    local_model.fit(train_data, epochs=LOCAL_EPOCHS, batch_size=LOCAL_BATCH_SIZE, verbose=0)
    
    # 2. 计算训练后本地模型的准确率
    local_eval_res = local_model.evaluate(test_data, verbose=0)
    local_model_acc = local_eval_res[1] if your_model.output_accuracy else local_eval_res['accuracy']
    
    # 返回模型更新参数 + 两个准确率
    return local_model.trainable_weights, global_acc_on_local, local_model_acc

你只需要在每轮调用联邦训练函数时，提取返回的所有客户端准确率值，按轮次存入列表即可完成数据采集，后续可以直接用于可视化对比。

• 提前给每个客户端的数据集拆分独立的测试集，禁止使用训练数据做评估，避免准确率结果不可靠
• 如果你需要按单个客户端维度做长期性能追踪，可以在客户端返回值中新增客户端ID字段，和准确率一起返回即可
• 该方案不会改变全局模型的聚合规则，和你原有联邦训练的最终模型效果完全一致，不会引入额外偏差

内容的提问来源于stack exchange，提问作者Darpit Dave