TensorFlow Federated联邦学习模型验证指标冻结问题求助

问题背景 #

• 任务：B5G系统中基于深度学习的窃听者检测
• 数据集：1200张合法/恶意UE的CSI图像，按UE到最近BS的规则划分联邦数据
• 模型：Keras Sequential构建的DCNN模型
• 现状：训练指标正常（多轮后准确率达97%，与集中式模型一致），但验证指标完全冻结；即使将评估用的val_datasets替换为train_datasets，验证结果仍无变化
• 已尝试方案：数据增强、数据集平衡、添加Dropout层，均无效
• 疑问：是否在TFF评估环节遗漏关键步骤？

核心排查方向（针对TFF评估环节） #

1. 评估时未使用更新后的全局模型 #

联邦学习中，若评估环节始终调用初始模型而非每轮训练后聚合更新的全局模型，会导致验证指标完全不变。

• 检查代码：每轮训练结束后，是否将state.model（训练后的全局模型参数）传入评估函数，而非训练前的initial_state.model
• 错误示例：

  # 始终用初始模型评估
  evaluation = tff.learning.build_federated_evaluation(model_fn)
  val_metrics = evaluation(initial_state.model, val_datasets)
  

• 正确做法：

  # 每轮训练后用更新后的全局模型评估
  val_metrics = evaluation(state.model, val_datasets)
  

2. 评估数据集的迭代器未正确重置 #

TFF对数据集迭代器有特殊要求，若复用已耗尽的迭代器，会导致每次评估都使用同一批数据（甚至空数据）：

• 确认每次评估前是否重新生成预处理后的评估数据集，而非复用之前的数据集实例
• 建议封装数据集生成函数，每次评估时调用：

  def get_eval_datasets():
      return [preprocess_dataset(ds) for ds in eval_data]
  # 每次评估时重新生成
  val_metrics = evaluation(state.model, get_eval_datasets())
  

3. TFF评估函数定义错误 #

若build_federated_evaluation的使用逻辑有误，会导致指标计算失效：

• 检查评估函数是否正确绑定了模型的前向传播逻辑，且指标计算方式与训练时完全一致
• 确认评估函数接收的参数是当前全局模型参数和联邦评估数据集列表，而非单个客户端数据集

4. 联邦数据划分导致的评估数据异常 #

即使替换为训练数据集后指标仍不变，需确认：

• 评估函数是否正确遍历了所有客户端的训练数据，而非仅固定某一个客户端的子集
• 检查评估数据集是否包含有效样本（非空、非单一类别）

内容的提问来源于stack exchange，提问作者Marlen