非IID数据集联邦学习中不同工作节点数据划分场景下验证精度差异是否正常？

首先可以放心，你的实验结果没有问题，这种精度随节点本地数据的类别覆盖度提升而上升的现象，正是非IID联邦学习里的典型表现，咱们来拆解背后的原因：

1. 非IID程度的差异是核心因素 #

你构建的三个场景，本质是标签偏斜程度（Label Skew）逐渐降低：

• 场景1是极端非IID：每个节点只持有单一类别数据，本地数据分布和全局分布完全脱节；
• 场景2的偏斜程度中等；
• 场景3的偏斜程度最低，每个节点的本地数据覆盖了一半的类别，更接近全局数据的分布。

联邦学习的全局模型性能，很大程度上依赖于本地模型和全局目标的对齐度——非IID程度越低，本地训练的模型参数越贴近全局需求，聚合后的效果自然越好。

2. 极端非IID带来的本地训练偏差 #

在场景1的极端情况下，每个节点的本地模型会严重过拟合到单一类别：比如只训练“跑步”类的节点，它的模型会把所有输入特征都往“跑步”的方向拟合，完全忽略其他类别的特征模式。当这些偏差极大的模型参数被聚合时，全局模型相当于在一堆“极端观点”里做折中，不仅很难学到通用特征，还会因为参数冲突导致收敛震荡，最终精度拉胯。

而场景3里的节点，本地数据本身就包含多类样本，训练出的模型天然具备识别多类的能力，聚合时参数之间的冲突小，全局模型能更快整合不同节点的有效特征，泛化性自然更强。

3. 聚合机制的特性放大了差异 #

不管你用的是FedAvg还是其他常见聚合算法，本质都是对各节点的模型参数做加权平均。当节点间的参数差异过大（场景1），平均后的参数会稀释掉很多有效信息，甚至引入噪声；而差异较小的场景（场景3），平均操作能更好地保留各节点学到的有用特征，最终全局模型的精度也就更高。

另外你提到所有场景用了相同的超参数，这反而更能佐证结论——因为变量只有数据的非IID程度，结果差异完全来自数据分布本身，不是超参数配置的问题。

内容的提问来源于stack exchange，提问作者tfreak