SCAFFOLD联邦学习服务器与客户端学习率调优及训练问题问询

我基于残差CNN训练二分类器，输入数据维度为(12, 4096)，采用FedAvg、FedProx、SCAFFOLD三种联邦聚合策略，基于niid_bench项目（Flower Baselines收录）的实现做了小幅修改。

实验结果对比 #

• 集中式训练5轮后，Precision、Recall、AUC指标达60%；FedAvg本地训练1轮即可达到同等性能，本地训练5轮时该指标区间为0.75-0.8
• 保持数据集规模不变，通过客户端间特征分布不平衡设置不同IID水平：
  • FedProx在非IID场景下性能与FedAvg持平，且客户端训练损失波动更小
  • SCAFFOLD性能提升极小，所有客户端训练损失在10+通信轮次中无变化；而FedAvg和FedProx约5-6轮就达到损失拐点

关键参数观察 #

我注意到当前实现中SCAFFOLD的服务器步长固定为1.0，客户端步长为可配置超参数，据此提出以下调优疑问：

1. 如何根据训练迹象调优服务器或客户端步长？何时该增大/减小？ #

• 客户端步长：
  • 若客户端损失长期停滞，说明当前步长不足以推动模型向局部最优移动，可增大客户端步长；若损失震荡剧烈，需减小步长
  • 若客户端训练后与全局模型偏差过大（可通过参数差值或验证集性能差判断），减小客户端步长，避免局部过拟合偏离全局方向
• 服务器步长：
  • 若全局模型收敛极慢且客户端更新方向一致，可增大服务器步长加速聚合；若全局性能震荡，说明步长过大，需减小以稳定收敛
  • SCAFFOLD中服务器步长控制全局校正项的更新幅度，若校正项无法有效引导客户端，可适当调整步长（如从1.0上下微调）

2. 相较于经典FedAvg，SCAFFOLD的服务器或客户端学习率是否需要调整？ #

需要。SCAFFOLD通过全局校正项修正客户端局部更新偏差，学习率策略与FedAvg存在本质差异：

• FedAvg的客户端步长仅服务局部训练，而SCAFFOLD的客户端步长需同时适配局部训练与校正项对齐，通常需要更小的客户端步长，避免局部更新冲抵校正项的引导作用
• FedAvg服务器步长一般为1.0（直接加权平均），但SCAFFOLD的服务器步长控制校正项更新，若校正项更新过快导致客户端难以跟上，需下调；若校正项更新不足，可适当上调

3. 问题源于实现错误，还是SCAFFOLD需要更大学习率（至少全局学习率）？因控制变量需不断将客户端损失与服务器状态对齐，过小的学习率可能导致客户端难有进展？ #

两种可能性均存在，可按以下步骤排查：

1. 排查实现错误：
   • 验证校正项计算逻辑：服务器是否正确聚合客户端的本地校正项更新，客户端训练时是否正确应用全局校正项与本地校正项的差值
   • 检查客户端训练的损失计算、梯度更新逻辑，确认校正项是否参与参数更新流程
2. 调优学习率：
   • 若实现无问题，你的推测成立：SCAFFOLD要求客户端兼顾局部训练与全局状态对齐，过小的客户端步长会导致模型无法有效更新局部参数，进而损失停滞。可逐步增大客户端步长（如当前值翻倍测试），同时调整服务器步长（如从1.0下调至0.5或上调至1.2）
   • SCAFFOLD对学习率敏感性高于FedAvg，建议采用学习率衰减策略（如每几个通信轮次衰减一次），平衡局部训练与全局对齐需求

内容的提问来源于stack exchange，提问作者therealvirtuoso