如何在Tensorflow Federated差分隐私训练过程中修改裁剪和噪声参数
可以在训练过程中动态调整这两个参数,不需要重新创建AggregationProcess。
实现原理
你传入的NormalizedQuery和内部的GaussianSumQuery的参数l2_norm_clip、stddev都是以tf.Variable的形式存储在聚合过程的服务端状态中的,直接修改状态中对应的变量值即可生效。
具体操作步骤
- 先确认聚合状态的字段路径,你可以先打印一次
server_state.delta_aggregate_state的结构,找到内部查询的参数位置,常规的字段路径如下:
# 修改参数的示例代码,在每轮调用agg_proc.next前执行即可 # 取出差分隐私查询的状态 dp_state = server_state.delta_aggregate_state.dp_query_state # 更新GaussianSumQuery的裁剪阈值和噪声标准差 dp_state.inner_query_state.l2_norm_clip.assign(新的裁剪阈值) dp_state.inner_query_state.stddev.assign(新的噪声标准差) # 把修改后的状态更新回服务端全局状态 server_state = server_state.replace( delta_aggregate_state=server_state.delta_aggregate_state.replace( dp_query_state=dp_state ) )
- 修改完成后,下一轮调用
agg_proc.next执行聚合时,就会自动使用新的参数做梯度裁剪和噪声添加。
注意事项
- 如果你需要做精准的隐私预算核算,手动修改stddev后要同步更新隐私会计(PrivacyAccountant)对应轮次的噪声参数,避免预算计算偏差。
- 要是你用的TFF/TFP版本比较新,字段名有微小差异的话,直接打印状态结构顺着找内部查询的对应参数即可,修改逻辑不变。
内容的提问来源于stack exchange,提问作者Kane
相关产品推荐
相关产品推荐

