TensorFlow Federated中如何构建不同non-IID程度的联邦数据集?
内置工具与基础能力说明
TFF已经提供了部分联邦数据集改造的通用工具,不需要从零开始实现全流程的数据集加载、切片逻辑,大部分场景可以通过组合内置接口快速实现目标构造需求。
针对你提到的build_single_label_dataset,它的设计目标就是实现病理型Non-IID场景的构造:该接口的输入是TFF标准的ClientData对象,会按照预设的客户端-单类映射关系,自动过滤每个客户端本地不属于指定类别的样本,最终输出每个客户端仅持有单类样本的联邦数据集。
调用方式非常直接,基于TFF内置的EMNIST数据集即可完成改造:
import numpy as np import tensorflow_federated as tff # 加载内置EMNIST联邦数据集 emnist_train, emnist_test = tff.simulation.datasets.emnist.load_data() # 为每个客户端随机分配1个全局类别作为其专属持有类别 num_total_classes = 62 client_list = emnist_train.client_ids client_to_label_map = { client_id: np.random.randint(0, num_total_classes) for client_id in client_list } # 调用接口生成单类病理Non-IID数据集 single_label_noniid = tff.simulation.datasets.build_single_label_dataset( dataset=emnist_train, label_key='label', label_list=[client_to_label_map[cid] for cid in client_list] )
需要注意的是,该接口仅做本地样本过滤,不会跨客户端搬移样本:如果某客户端本地没有分配到的目标类别样本,最终生成的客户端数据集会为空。如果需要保证每个客户端持有足量对应类别的样本,可以预先把全局所有样本按类别归集后,再按映射关系重新分配给客户端。
三类目标数据集场景的实现路径
1. 病理单类Non-IID场景
直接使用上述build_single_label_dataset接口即可完成构造,不需要额外开发复杂逻辑。如果要调整异构强度,可以进一步放宽每个客户端的类别持有数量(比如每个客户端持有2-3个类别的样本,而非严格单类),只需要调整映射关系、放宽过滤条件即可。
2. 本地样本量不平衡场景
这类改造不需要调整样本的类别分布,只需要对每个客户端的本地样本做随机长度裁剪即可,通常可以借助对数正态分布、幂律分布给每个客户端分配差异化的目标样本量,自然形成10个样本到上百个样本的差异效果。
可以通过自定义ClientData子类快速实现,核心逻辑是重写create_tf_dataset_for_client方法,在原有数据集基础上调用tf.data.Dataset.take()截取指定长度的样本:
class UnevenSizeClientData(tff.simulation.datasets.ClientData): def __init__(self, original_clientdata, client_sample_config): self._original = original_clientdata self._sample_config = client_sample_config @property def client_ids(self): return self._original.client_ids def create_tf_dataset_for_client(self, client_id): local_ds = self._original.create_tf_dataset_for_client(client_id) target_sample_num = self._sample_config[client_id] return local_ds.take(target_sample_num) # 按幂律分布生成每个客户端的目标样本量 client_sample_config = {} for cid in emnist_train.client_ids: # 生成10-200区间的随机样本量 sample_size = int(np.random.lognormal(mean=3.5, sigma=1.2)) client_sample_config[cid] = np.clip(sample_size, 10, 200) # 实例化得到样本量不平衡的联邦数据集 uneven_dataset = UnevenSizeClientData(emnist_train, client_sample_config)
3. 同时具备单类异构+样本量不平衡的复合场景
可以直接组合上述两个改造逻辑:先通过build_single_label_dataset生成单类分布的基础数据集,再把这个基础数据集传入上述不平衡大小的自定义类,叠加样本量裁剪的效果,不需要从头重写数据集构造流程。
Dirichlet分布调控Non-IID程度的实现方案
目前TFF没有内置基于Dirichlet分布的异构数据生成接口,但实现逻辑非常轻量,完全可以基于NumPy和TFF的ClientData接口封装实现,核心流程分为三步:
- 把原始联邦数据集的所有客户端样本拉平为全局数据集,提取所有样本的特征与对应标签,转为NumPy数组方便操作
- 按照预设的集中度参数α(即论文中提到的concentration parameter),为每个客户端生成各类别的采样比例:对每个客户端i,从参数为α的Dirichlet分布中抽取一个概率向量,向量中每个元素对应该客户端持有某一类别的样本占比
- 针对每个类别,把该类的所有样本按照生成的概率比例随机切分,分配给对应的客户端。
参数的异构效果非常直观:
- α值越小,Non-IID程度越高,当α趋近于0时,分布会退化为每个客户端仅持有单类样本的病理场景
- α值越大,客户端间的分布越接近均匀,当α足够大时,数据集会趋近于IID状态
可以根据测试需求选择不同的α值快速生成梯度化的异构程度数据集,典型的参考取值为:α=0.1对应强异构,α=1对应中等异构,α=10对应接近IID的弱异构。
简化的核心实现逻辑参考:
def build_dirichlet_noniid_dataset(original_clientdata, alpha=0.5, num_classes=62): # 拉平全局所有样本 all_features = [] all_labels = [] for cid in original_clientdata.client_ids: ds = original_clientdata.create_tf_dataset_for_client(cid).batch(256) for batch in ds.as_numpy_iterator(): all_features.append(batch['pixels']) all_labels.append(batch['label']) all_features = np.concatenate(all_features, axis=0) all_labels = np.concatenate(all_labels, axis=0) client_ids = original_clientdata.client_ids client_num = len(client_ids) # 按Dirichlet分布生成各客户端的类别采样占比 client_class_ratio = np.random.dirichlet(alpha=[alpha]*num_classes, size=client_num) # 逐类别切分样本分配到客户端 client_assigned_idx = {cid: [] for cid in client_ids} for c in range(num_classes): class_sample_indices = np.where(all_labels == c)[0] np.random.shuffle(class_sample_indices) split_sizes = (client_class_ratio[:, c] * len(class_sample_indices)).astype(int) cur_pos = 0 for client_idx, cid in enumerate(client_ids): end_pos = cur_pos + split_sizes[client_idx] client_assigned_idx[cid].append(class_sample_indices[cur_pos:end_pos]) cur_pos = end_pos # 将分配好的样本按索引封装为ClientData对象返回(省略类实现的通用逻辑)
内容的提问来源于stack exchange,提问作者Alessio Mora

