TFF中搭载dp-query的DP-FedAvg训练如何追踪参与方级中心差分隐私的eps、delta隐私保障
你之前觉得TF Privacy的DP-SGD工具不适用,核心误区是把DP-SGD里的“单条记录”等价成了客户端本地的训练样本,但参与方级DP的保障边界是“单个客户端整体不被泄露”,因此计算隐私消耗时的“单条记录”就是完整的客户端,不需要拆分客户端内部的训练样本。两者的隐私计算逻辑底层完全一致,不需要自定义隐私追踪工具,按照参数映射直接复用即可。
核心参数映射关系
DP-SGD的隐私会计器面向“单条记录级扰动”的场景,联邦参与方级DP只是替换了“单条记录”的定义,所有计算逻辑可以直接适配,对应关系如下:
- DP-SGD里的全量样本池大小
n= 联邦场景的全量参与方总数 - DP-SGD里的单步批量大小
batch_size= 单轮参与聚合的客户端数量 - DP-SGD里的总训练步数
steps= 联邦训练的总轮数 - DP-SGD里的噪声乘数
noise_multiplier= 你在build_dp_query中配置的同名字段,完全等价,不需要调整 - DP-SGD里的梯度裁剪值
clip= 你配置的同名字段,仅保证加噪尺度匹配,不直接参与epsilon计算
离线预计算训练全量隐私预算
可以直接用现有DP-SGD的隐私计算函数,按照上面的映射传参即可,示例代码:
import numpy as np from tensorflow_privacy.privacy.analysis import compute_dp_sgd_privacy_lib # 替换为你实际的训练配置 total_federated_rounds = 500 total_client_pool = 100 # 你提到的总参与方规模 clients_per_round = 100 # 你配置的expected_clients_per_round noise_multiplier = 0.3 # dp_query中的配置 clip_norm = 1.0 # dp_query中的配置 # 按照参与方DP规范选择delta,通常取1/(N*logN),N为总客户端数 target_delta = 1 / (total_client_pool * np.log(total_client_pool)) # 等价epoch数 = 总训练轮数 * 单轮采样占比 sampling_rate = clients_per_round / total_client_pool equivalent_epochs = total_federated_rounds * sampling_rate epsilon, _ = compute_dp_sgd_privacy_lib.compute_dp_sgd_privacy( n=total_client_pool, batch_size=clients_per_round, noise_multiplier=noise_multiplier, epochs=equivalent_epochs, delta=target_delta ) print(f"全量训练完成后累计隐私保证:ε = {epsilon:.2f}, δ = {target_delta:.2e}")
训练过程中实时追踪隐私消耗
不需要每轮重新做全量计算,初始化可迭代的隐私会计器,每轮训练结束后更新状态即可拿到实时epsilon:
from tensorflow_privacy.privacy.analysis.rdp_accountant import RDPAccountant # 训练前初始化 accountant = RDPAccountant() target_delta = 1 / (total_client_pool * np.log(total_client_pool)) # 正常执行联邦训练循环 state = iterative_process.initialize() for round_idx in range(total_federated_rounds): # 采样客户端、执行本轮训练 sampled_clients = 你的客户端采样逻辑(clients_per_round) state, metrics = iterative_process.next(state, sampled_clients) # 单轮结束后更新隐私会计器,使用实际采样的客户端数计算真实采样率 actual_sampling_rate = len(sampled_clients) / total_client_pool accountant.step( noise_multiplier=noise_multiplier, sampling_probability=actual_sampling_rate ) # 输出当前累计隐私值 current_epsilon = accountant.get_epsilon(delta=target_delta) print(f"第{round_idx+1}轮 | 累计ε: {current_epsilon:.2f} | δ: {target_delta:.2e}")
注意事项
- 本地训练环节的梯度更新不需要纳入隐私计算:当前的配置实现的是参与方级中心DP,隐私边界覆盖单个客户端的全部更新,只要聚合端的加噪、裁剪严格匹配dp_query的配置,上述计算结果就准确,不需要额外计算客户端本地训练的隐私消耗。
- 自适应裁剪的开销可以忽略:你当前配置的
adaptive_clip_learning_rate=0,属于固定裁剪,计算完全无偏差;如果后续开启自适应裁剪,会引入约5%以内的epsilon额外开销,上述计算结果属于保守估计,符合工程精度要求。 - 采样率要按实际值计算:如果单轮参与的客户端数不是固定值,不要直接用配置的
expected_clients_per_round计算采样率,要传入每轮实际采样的客户端数量,否则会低估epsilon(隐私保障强度低于预期)。
内容的提问来源于stack exchange,提问作者ABHS
相关产品推荐
相关产品推荐

