Dataflow Apache Beam集成DLP去标识时触发AttributeError错误

错误原因 #

这个AttributeError是Dataflow Worker节点在反序列化自定义DeidentifyFn类时出现的问题——Worker环境无法找到该类的定义。本质是Apache Beam的序列化机制（依赖dill/pickle）要求Worker能完整获取到你的自定义代码和依赖包。

解决步骤 #

1. 添加打包配置文件 #

创建setup.py文件，用于告知Dataflow如何打包你的自定义代码和依赖：

from setuptools import setup, find_packages

setup(
    name='bq-dlp-deidentify',
    version='0.0.1',
    packages=find_packages(),
    install_requires=[
        'apache-beam[gcp]==2.55.0',
        'google-cloud-dlp>=3.16.0',
        'google-cloud-bigquery>=3.12.0'
    ],
)

2. 修改运行命令，指定打包参数 #

运行Dataflow管道时，必须通过--setup_file参数指定打包配置，确保Worker能加载DeidentifyFn类：

python combined_script.py \
  --runner DataflowRunner \
  --project your-project-id \
  --region us-east4 \
  --job_name bq-dlp-deidentify \
  --setup_file ./setup.py \
  --custom_gcs_temp_location gs://bucket/temp

3. 本地验证逻辑（可选但推荐） #

先用DirectRunner在本地运行管道，验证数据去标识逻辑是否正常，排除代码本身的错误：

python combined_script.py --runner DirectRunner

额外注意事项 #

• 确保DeidentifyFn类定义在脚本顶层作用域（你的代码已符合要求），不要嵌套在函数或其他类内部
• 避免在__init__方法中初始化不可序列化对象，你的代码将DLP/BigQuery客户端初始化放在setup()方法中是正确的——setup()会在Worker节点上执行，而非提交管道的本地环境
• 确认GCS临时存储桶权限正确，Dataflow服务账号需要具备该桶的读写权限

内容的提问来源于stack exchange，提问作者DKM