联邦学习模型评估：选择训练数据还是测试数据计算Loss？

结论先行：你应该选用federated_test_data的Loss（也就是代码1）来评估和调控你的联邦学习模型指标。

为什么这么说？结合你提到的Federated Averaging（FedAvg）的特性，咱们拆解一下：

• 训练Loss的局限性：联邦学习里的训练Loss是各个客户端本地训练批次的平均值。每个客户端只在自己的小批量数据上训练，很容易快速拟合本地数据——这会让训练Loss看起来“很漂亮”，但当这些客户端的更新聚合到全局模型后，全局模型其实还没学到适合全局数据分布的特征，对应的测试准确率/Loss会和训练指标有巨大差距。这种情况下，训练Loss完全无法反映模型的真实泛化能力，用来调控模型（比如判断是否停止训练、调整超参数）会误导你。

• 测试Loss的价值：用独立的federated_test_data评估得到的Loss和准确率，是全局模型在未见过的数据上的表现，能真实反映模型的泛化能力。这才是你应该盯着的核心指标——比如你提到的McMahan 2016论文里的结论，IID数据需要至少20轮、非IID需要100+轮才能达到理想准确率，这个结论就是基于测试数据的评估结果得出的。

再看你给出的两段代码：

代码1（推荐使用） #

evaluation = tff.learning.build_federated_evaluation(model_fn)
test_metrics = evaluation(state.model, federated_test_data)

tff.learning.build_federated_evaluation的设计初衷就是评估全局模型在测试数据集上的表现。传入federated_test_data后得到的test_metrics（包含Loss、准确率等），能帮你准确判断模型的训练进度：比如如果测试Loss还在持续下降、准确率在提升，就说明还需要继续训练；如果测试指标趋于平稳，再考虑停止或者调整超参数。

代码2（不推荐用于指标调控） #

evaluation = tff.learning.build_federated_evaluation(model_fn)
metrics = evaluation(state.model, federated_train_data)

这段用训练数据做评估，得到的结果和训练过程中的训练Loss本质上是一回事——只能反映模型对训练数据的拟合程度，无法体现泛化性。如果用这个指标来调控模型，你可能会误以为模型已经训练得很好，但实际上它在真实场景中根本没法用。

最后再强调一下：联邦学习和中心化训练的指标解读逻辑有本质差异，千万不要套用中心化训练的经验（比如盯着训练Loss下降）。一定要以测试数据的评估结果作为模型调控的核心依据。

内容的提问来源于stack exchange，提问作者Eliza