联邦学习客户端本地更新疑问：每轮用不同数据集子集还是需拆分批次？

在联邦学习场景中，客户端每轮本地更新是否使用不同数据集子集，取决于你的训练策略和设备条件：

• 随机采样子集：这是FedAvg这类主流框架的常规操作。客户端每轮会从本地数据里抽取一个mini-batch或随机子集训练，且每次采样的子集通常不同。这么做主要是为了降低单轮本地训练的计算量（适配手机、IoT这类算力有限的终端设备），同时随机采样也能避免模型过拟合到局部数据。
• 全量数据集训练：如果客户端设备算力充足，或者任务对模型稳定性要求较高，也可以每轮用完整本地数据集做更新。这种情况常见于本地数据量本身较小的场景，或是一些侧重稳定性的联邦学习变体实现。

完全不需要强制拆分，实际训练有两种更灵活的处理方式：

• 多轮本地Epoch训练：比如客户端本地有一批数据，每轮和服务器通信时，会用这批数据训练若干个Epoch（每个Epoch遍历全量数据，拆分成多个mini-batch训练），之后再将更新后的参数发送给服务器。这里的批次数量由本地Epoch数和batch size决定，和通信轮次没有绑定关系。
• 单批次快速更新：如果客户端算力受限，每轮仅抽取一个mini-batch做一次梯度更新就上传参数，这种情况下无需提前拆分数据，每次随机采样即可。

要是提前把本地数据拆成和通信轮次等量的批次，反而会限制训练灵活性——比如后续调整通信轮次或本地训练Epoch数时，需要重新拆分数据，且固定批次可能导致部分数据利用不充分，或是某些批次重复训练的问题。

内容的提问来源于stack exchange，提问作者Novak