You need to enable JavaScript to run this app. TFF中搭载dp-query的DP-FedAvg训练如何追踪参与方级中心差分隐私的eps、delta隐私保障
优惠活动
大模型
产品
解决方案
定价
更多

TFF中搭载dp-query的DP-FedAvg训练如何追踪参与方级中心差分隐私的eps、delta隐私保障

你之前觉得TF Privacy的DP-SGD工具不适用,核心误区是把DP-SGD里的“单条记录”等价成了客户端本地的训练样本,但参与方级DP的保障边界是“单个客户端整体不被泄露”,因此计算隐私消耗时的“单条记录”就是完整的客户端,不需要拆分客户端内部的训练样本。两者的隐私计算逻辑底层完全一致,不需要自定义隐私追踪工具,按照参数映射直接复用即可。

核心参数映射关系

DP-SGD的隐私会计器面向“单条记录级扰动”的场景,联邦参与方级DP只是替换了“单条记录”的定义,所有计算逻辑可以直接适配,对应关系如下:

  • DP-SGD里的全量样本池大小n = 联邦场景的全量参与方总数
  • DP-SGD里的单步批量大小batch_size = 单轮参与聚合的客户端数量
  • DP-SGD里的总训练步数steps = 联邦训练的总轮数
  • DP-SGD里的噪声乘数noise_multiplier = 你在build_dp_query中配置的同名字段,完全等价,不需要调整
  • DP-SGD里的梯度裁剪值clip = 你配置的同名字段,仅保证加噪尺度匹配,不直接参与epsilon计算
离线预计算训练全量隐私预算

可以直接用现有DP-SGD的隐私计算函数,按照上面的映射传参即可,示例代码:

import numpy as np
from tensorflow_privacy.privacy.analysis import compute_dp_sgd_privacy_lib

# 替换为你实际的训练配置
total_federated_rounds = 500
total_client_pool = 100  # 你提到的总参与方规模
clients_per_round = 100  # 你配置的expected_clients_per_round
noise_multiplier = 0.3  # dp_query中的配置
clip_norm = 1.0  # dp_query中的配置

# 按照参与方DP规范选择delta,通常取1/(N*logN),N为总客户端数
target_delta = 1 / (total_client_pool * np.log(total_client_pool))

# 等价epoch数 = 总训练轮数 * 单轮采样占比
sampling_rate = clients_per_round / total_client_pool
equivalent_epochs = total_federated_rounds * sampling_rate

epsilon, _ = compute_dp_sgd_privacy_lib.compute_dp_sgd_privacy(
    n=total_client_pool,
    batch_size=clients_per_round,
    noise_multiplier=noise_multiplier,
    epochs=equivalent_epochs,
    delta=target_delta
)
print(f"全量训练完成后累计隐私保证:ε = {epsilon:.2f}, δ = {target_delta:.2e}")
训练过程中实时追踪隐私消耗

不需要每轮重新做全量计算,初始化可迭代的隐私会计器,每轮训练结束后更新状态即可拿到实时epsilon:

from tensorflow_privacy.privacy.analysis.rdp_accountant import RDPAccountant

# 训练前初始化
accountant = RDPAccountant()
target_delta = 1 / (total_client_pool * np.log(total_client_pool))

# 正常执行联邦训练循环
state = iterative_process.initialize()
for round_idx in range(total_federated_rounds):
    # 采样客户端、执行本轮训练
    sampled_clients = 你的客户端采样逻辑(clients_per_round)
    state, metrics = iterative_process.next(state, sampled_clients)

    # 单轮结束后更新隐私会计器,使用实际采样的客户端数计算真实采样率
    actual_sampling_rate = len(sampled_clients) / total_client_pool
    accountant.step(
        noise_multiplier=noise_multiplier,
        sampling_probability=actual_sampling_rate
    )

    # 输出当前累计隐私值
    current_epsilon = accountant.get_epsilon(delta=target_delta)
    print(f"第{round_idx+1}轮 | 累计ε: {current_epsilon:.2f} | δ: {target_delta:.2e}")
注意事项
  • 本地训练环节的梯度更新不需要纳入隐私计算:当前的配置实现的是参与方级中心DP,隐私边界覆盖单个客户端的全部更新,只要聚合端的加噪、裁剪严格匹配dp_query的配置,上述计算结果就准确,不需要额外计算客户端本地训练的隐私消耗。
  • 自适应裁剪的开销可以忽略:你当前配置的adaptive_clip_learning_rate=0,属于固定裁剪,计算完全无偏差;如果后续开启自适应裁剪,会引入约5%以内的epsilon额外开销,上述计算结果属于保守估计,符合工程精度要求。
  • 采样率要按实际值计算:如果单轮参与的客户端数不是固定值,不要直接用配置的expected_clients_per_round计算采样率,要传入每轮实际采样的客户端数量,否则会低估epsilon(隐私保障强度低于预期)。

内容的提问来源于stack exchange,提问作者ABHS

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 02:36:10