Dataproc Serverless提交带第三方依赖Python任务失败求助

一、修复metadata参数传递错误 #

你遇到的too many values to unpack报错，是因为metadata参数要求为键值对元组组成的列表，而非字典。正确写法如下：

DataprocCreateBatchOperator(
    task_id="submit_batch",
    project_id="your-project-id",
    region="your-region",
    batch={
        "pyspark_batch": {
            "main_python_file_uri": "gs://your-bucket/main.py",
        }
    },
    metadata=[("PIP_PACKAGES", "requests")],  # 列表嵌套元组格式
)

这种方式适合快速安装单个或少量公开PyPI包，无需额外打包操作。

二、自定义依赖包打包与加载（适配私有包/复杂依赖场景） #

如果依赖是私有模块、需离线环境运行，或包含多个组合包，可按以下步骤打包上传并加载：

1. 打包依赖为zip包 #

在本地创建依赖目录，安装目标包后打包：

# 创建存储依赖的目录
mkdir deps
# 将依赖安装到指定目录（可添加多个包，用空格分隔）
pip install requests -t deps/
# 进入目录并打包
cd deps
zip -r ../deps.zip .

若是自定义私有模块，直接将模块文件放入deps目录后打包即可。

2. 上传zip包到云存储 #

将打包好的deps.zip上传至GCS指定路径：

gsutil cp deps.zip gs://your-bucket/path/to/deps.zip

3. 在Airflow任务中配置加载依赖 #

修改DataprocCreateBatchOperator的batch配置，添加python_file_uris字段并指定Spark依赖路径：

DataprocCreateBatchOperator(
    task_id="submit_batch",
    project_id="your-project-id",
    region="your-region",
    batch={
        "pyspark_batch": {
            "main_python_file_uri": "gs://your-bucket/main.py",
            "python_file_uris": ["gs://your-bucket/path/to/deps.zip"],  # 加载依赖zip
            "spark_properties": {
                "spark.submit.pyFiles": "gs://your-bucket/path/to/deps.zip"  # 告知Spark加载该依赖
            }
        }
    }
)

配置完成后，Dataproc Serverless会自动解压zip包，并将依赖路径添加到Python的sys.path中，任务即可正常调用第三方包。

三、注意事项 #

• 若依赖包含编译后的二进制包（如numpy、pandas），需确保打包环境与Dataproc Serverless运行环境一致（推荐用Ubuntu 20.04/22.04镜像打包），避免兼容性问题。
• PIP_PACKAGES与自定义zip依赖可共存，前者会在任务启动时在线安装，后者会被优先加载。

内容的提问来源于stack exchange，提问作者baskInEminence