运行GCP Dataflow任务时遇ModuleNotFoundError: No module named 'oracledb'

针对你遇到的Dataflow任务执行时ModuleNotFoundError: No module named 'oracledb'错误，以下是几个可落地的解决方向：

1. 延迟oracledb模块的导入时机 #

如果你的主作业代码在模板创建阶段就提前导入了oracledb，Dataflow会将这个导入逻辑序列化到会话中。而Worker加载会话时，oracledb可能还没完成安装，导致报错。

修改代码，将oracledb的导入操作延迟到DoFn的process方法内部：

class OracleProcessingDoFn(beam.DoFn):
    def process(self, element):
        # 仅在Worker执行任务时才导入模块
        import oracledb
        # 后续数据库连接、查询逻辑
        conn = oracledb.connect(...)
        # ...

2. 改用Dataflow原生的依赖传递机制 #

放弃setup.py中的自定义命令下载安装逻辑，直接利用Dataflow的--extra_package参数传递wheel包，配合setup.py的install_requires声明依赖：

• 修改创建模板的命令，添加--extra_package指向GCS中的wheel包：

python3 -m <python_file_name> --runner DataflowRunner --project <project_id> --staging_location <gcs_staging> --temp_location <gcs_temp> --template_location <gcs_template> --region <region> --setup_file=./setup.py --extra_package gs://dataflow-execution/python_dependencies/oracledb-1.0.3-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

• 修改setup.py的REQUIRED_PACKAGES：

REQUIRED_PACKAGES = [
    'oracledb==1.0.3'
]

这种方式由Dataflow自动处理依赖的下载和安装，比自定义命令更可靠，且能确保依赖在Worker加载会话前完成安装。

3. 修正自定义命令中的pip安装路径 #

如果坚持使用自定义命令安装，需要确保pip将包安装到Worker的Python环境能识别的路径中。修改setup.py中install_cmd的pip命令，添加--target参数指定Worker的site-packages目录：

def install_cmd(self):
    result = []
    worker_python_site = '/usr/local/lib/python3.9/site-packages'
    for p in WHEEL_PACKAGES:
            result.append(['gsutil', 'cp', 'gs://dataflow-execution/python_dependencies/{}'.format(p), '.'])
            # 指定安装到Worker的系统Python站点包目录
            result.append(['pip', 'install', '--target', worker_python_site, '{}'.format(p)])
    return result

同时要确保Worker服务账号对GCS存储桶有storage.objects.get权限，能正常下载wheel包。

4. 检查Worker日志确认命令执行状态 #

登录GCP控制台，查看Dataflow作业的Worker日志，确认自定义的gsutil cp和pip install命令是否执行成功：

• 检查是否有权限错误（比如Worker服务账号无GCS读取权限）
• 确认wheel包的路径、文件名是否完全正确
• 查看pip安装时是否有报错信息（如依赖缺失、版本不兼容）

内容的提问来源于stack exchange，提问作者Hannah