You need to enable JavaScript to run this app. TensorFlow Federated中如何构建不同non-IID程度的联邦数据集?
优惠活动
大模型
产品
解决方案
定价
更多

TensorFlow Federated中如何构建不同non-IID程度的联邦数据集?

TFF框架下联邦数据集Non-IID程度调控实操方法

内置工具与基础能力说明

TFF已经提供了部分联邦数据集改造的通用工具,不需要从零开始实现全流程的数据集加载、切片逻辑,大部分场景可以通过组合内置接口快速实现目标构造需求。
针对你提到的build_single_label_dataset,它的设计目标就是实现病理型Non-IID场景的构造:该接口的输入是TFF标准的ClientData对象,会按照预设的客户端-单类映射关系,自动过滤每个客户端本地不属于指定类别的样本,最终输出每个客户端仅持有单类样本的联邦数据集。
调用方式非常直接,基于TFF内置的EMNIST数据集即可完成改造:

import numpy as np
import tensorflow_federated as tff
# 加载内置EMNIST联邦数据集
emnist_train, emnist_test = tff.simulation.datasets.emnist.load_data()
# 为每个客户端随机分配1个全局类别作为其专属持有类别
num_total_classes = 62
client_list = emnist_train.client_ids
client_to_label_map = {
    client_id: np.random.randint(0, num_total_classes)
    for client_id in client_list
}
# 调用接口生成单类病理Non-IID数据集
single_label_noniid = tff.simulation.datasets.build_single_label_dataset(
    dataset=emnist_train,
    label_key='label',
    label_list=[client_to_label_map[cid] for cid in client_list]
)

需要注意的是,该接口仅做本地样本过滤,不会跨客户端搬移样本:如果某客户端本地没有分配到的目标类别样本,最终生成的客户端数据集会为空。如果需要保证每个客户端持有足量对应类别的样本,可以预先把全局所有样本按类别归集后,再按映射关系重新分配给客户端。

三类目标数据集场景的实现路径

1. 病理单类Non-IID场景

直接使用上述build_single_label_dataset接口即可完成构造,不需要额外开发复杂逻辑。如果要调整异构强度,可以进一步放宽每个客户端的类别持有数量(比如每个客户端持有2-3个类别的样本,而非严格单类),只需要调整映射关系、放宽过滤条件即可。

2. 本地样本量不平衡场景

这类改造不需要调整样本的类别分布,只需要对每个客户端的本地样本做随机长度裁剪即可,通常可以借助对数正态分布、幂律分布给每个客户端分配差异化的目标样本量,自然形成10个样本到上百个样本的差异效果。
可以通过自定义ClientData子类快速实现,核心逻辑是重写create_tf_dataset_for_client方法,在原有数据集基础上调用tf.data.Dataset.take()截取指定长度的样本:

class UnevenSizeClientData(tff.simulation.datasets.ClientData):
    def __init__(self, original_clientdata, client_sample_config):
        self._original = original_clientdata
        self._sample_config = client_sample_config
    @property
    def client_ids(self):
        return self._original.client_ids
    def create_tf_dataset_for_client(self, client_id):
        local_ds = self._original.create_tf_dataset_for_client(client_id)
        target_sample_num = self._sample_config[client_id]
        return local_ds.take(target_sample_num)
# 按幂律分布生成每个客户端的目标样本量
client_sample_config = {}
for cid in emnist_train.client_ids:
    # 生成10-200区间的随机样本量
    sample_size = int(np.random.lognormal(mean=3.5, sigma=1.2))
    client_sample_config[cid] = np.clip(sample_size, 10, 200)
# 实例化得到样本量不平衡的联邦数据集
uneven_dataset = UnevenSizeClientData(emnist_train, client_sample_config)

3. 同时具备单类异构+样本量不平衡的复合场景

可以直接组合上述两个改造逻辑:先通过build_single_label_dataset生成单类分布的基础数据集,再把这个基础数据集传入上述不平衡大小的自定义类,叠加样本量裁剪的效果,不需要从头重写数据集构造流程。

Dirichlet分布调控Non-IID程度的实现方案

目前TFF没有内置基于Dirichlet分布的异构数据生成接口,但实现逻辑非常轻量,完全可以基于NumPy和TFF的ClientData接口封装实现,核心流程分为三步:

  1. 把原始联邦数据集的所有客户端样本拉平为全局数据集,提取所有样本的特征与对应标签,转为NumPy数组方便操作
  2. 按照预设的集中度参数α(即论文中提到的concentration parameter),为每个客户端生成各类别的采样比例:对每个客户端i,从参数为α的Dirichlet分布中抽取一个概率向量,向量中每个元素对应该客户端持有某一类别的样本占比
  3. 针对每个类别,把该类的所有样本按照生成的概率比例随机切分,分配给对应的客户端。

参数的异构效果非常直观:

  • α值越小,Non-IID程度越高,当α趋近于0时,分布会退化为每个客户端仅持有单类样本的病理场景
  • α值越大,客户端间的分布越接近均匀,当α足够大时,数据集会趋近于IID状态

可以根据测试需求选择不同的α值快速生成梯度化的异构程度数据集,典型的参考取值为:α=0.1对应强异构,α=1对应中等异构,α=10对应接近IID的弱异构。
简化的核心实现逻辑参考:

def build_dirichlet_noniid_dataset(original_clientdata, alpha=0.5, num_classes=62):
    # 拉平全局所有样本
    all_features = []
    all_labels = []
    for cid in original_clientdata.client_ids:
        ds = original_clientdata.create_tf_dataset_for_client(cid).batch(256)
        for batch in ds.as_numpy_iterator():
            all_features.append(batch['pixels'])
            all_labels.append(batch['label'])
    all_features = np.concatenate(all_features, axis=0)
    all_labels = np.concatenate(all_labels, axis=0)
    client_ids = original_clientdata.client_ids
    client_num = len(client_ids)
    # 按Dirichlet分布生成各客户端的类别采样占比
    client_class_ratio = np.random.dirichlet(alpha=[alpha]*num_classes, size=client_num)
    # 逐类别切分样本分配到客户端
    client_assigned_idx = {cid: [] for cid in client_ids}
    for c in range(num_classes):
        class_sample_indices = np.where(all_labels == c)[0]
        np.random.shuffle(class_sample_indices)
        split_sizes = (client_class_ratio[:, c] * len(class_sample_indices)).astype(int)
        cur_pos = 0
        for client_idx, cid in enumerate(client_ids):
            end_pos = cur_pos + split_sizes[client_idx]
            client_assigned_idx[cid].append(class_sample_indices[cur_pos:end_pos])
            cur_pos = end_pos
    # 将分配好的样本按索引封装为ClientData对象返回(省略类实现的通用逻辑)

内容的提问来源于stack exchange,提问作者Alessio Mora

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 01:54:10