Dataflow使用TINK加密时遇ModuleNotFoundError及NameError问题求助

问题背景 #

在Google Cloud Dataflow搭建ETL流程，从Pub/Sub Topic读取消息并推送至BigQuery，同时使用TINK模块对消息加密时，遇到依赖相关错误。

错误现象 #

1. 初始运行时出现模块找不到错误：

ModuleNotFoundError: No module named 'tink' [while running 'Format Talent APITest_DIP_Crypto-submessage-ptransform-57']

2. 将TINK相关导入移至代码顶部后，出现名称未定义错误：

format_message_element NameError: name 'aead' is not defined [while running 'Format Talent APITest_DIP_Crypto-submessage-ptransform-57']

根本原因 #

Dataflow的工作者节点默认不会预装TINK模块，无论是在函数内部还是代码顶部导入，工作者节点都无法找到该依赖包，进而引发上述错误。

解决方法 #

1. 声明TINK依赖 #

创建requirements.txt文件，添加所需依赖的版本声明：

tink>=1.13.0
apache-beam[gcp]>=2.40.0
google-cloud-bigquery>=3.0.0

2. 提交作业时指定依赖文件 #

运行Dataflow作业时，通过--requirements_file参数指定依赖文件，确保工作者节点自动安装所需包：

python your_script.py \
  --runner=DataflowRunner \
  --project=your-project-id \
  --region=your-region \
  --temp_location=gs://your-bucket/temp \
  --requirements_file=requirements.txt

3. 可选：用setup.py管理复杂依赖 #

如果需要更灵活的依赖管理，可创建setup.py文件：

from setuptools import setup, find_packages

setup(
    name='dataflow-tink-encryption',
    version='0.0.1',
    packages=find_packages(),
    install_requires=[
        'tink>=1.13.0',
        'apache-beam[gcp]>=2.40.0',
        'google-cloud-bigquery>=3.0.0'
    ]
)

提交作业时使用--setup_file参数指定该文件：

python your_script.py \
  --runner=DataflowRunner \
  --project=your-project-id \
  --region=your-region \
  --temp_location=gs://your-bucket/temp \
  --setup_file=setup.py

4. 代码小修正（非核心错误） #

注意代码中存在变量名笔误：定义了encoded_globalId但后续使用了未定义的encoded_Id，应统一变量名：

encoded_message_body = bytes(decoded_message, 'UTF-8')
encoded_Id = bytes(Id, 'UTF-8')
ciphertext = aead_primitive.encrypt(encoded_message_body, encoded_Id)

内容的提问来源于stack exchange，提问作者vik_singh