如何使Dataflow Flex Template的extra_package生效并安装私有仓库？

我正在运行一个需要安装私有库的Dataflow Flex Template，按以下步骤配置后出现模块找不到的错误：

• 参考Beam官方文档，使用--extra_package管道选项指定tarball文件路径
• 按Dataflow文档要求在元数据文件中配置该参数，元数据内容如下：

{
    "description": "Dataflow flex template test",
    "name": "dataflow-flex-test",
    "parameters": [
        {
            "name": "kafka_topic",
            "label": "kafka_topic",
            "helpText": "Specify a confluent kafka topic to read from."
        },
        {
            "name": "extra_package",
            "label": "extra_package",
            "helpText": "Specify a local package."
        }
    ]
}

• 运行命令如下：

gcloud dataflow flex-template run ${JOB_NAME} \
--template-file-gcs-location ${GCS_PATH}/templates/${TEMPLATE_TAG}/${TEMPLATE_NAME}.json \
--region ${GCP_REGION} \
--staging-location ${GCS_PATH}/staging \
--temp-location ${GCS_PATH}/temp \
--subnetwork ${SUBNETWORK} \
--parameters kafka_topic=${KAFKA_TOPIC} \
--parameters extra_package=${PACKAGE}

其中${PACKAGE}为当前目录下的<my_package.tar.gz>。

执行模板时出现错误：

ModuleNotFoundError: No module named <my_module>

查看日志确认extra_package已在启动参数中，但未生效，暂存桶中也没有该包。请问如何解决Dataflow Flex Template安装私有库的问题？

Flex Template的运行环境与本地Beam管道不同，直接传递本地文件路径给extra_package无法被Dataflow Workers访问，以下是两种可行的解决方法：

方法1：将私有包上传到GCS后指定路径 #

1. 把本地的<my_package.tar.gz>上传到你的GCS存储桶：

gsutil cp my_package.tar.gz ${GCS_PATH}/packages/

2. 修改运行命令中的extra_package参数为GCS路径：

--parameters extra_package=${GCS_PATH}/packages/my_package.tar.gz

3. 确保Dataflow服务账号有访问该GCS路径的权限（默认服务账号通常具备存储桶读写权限，若权限不足需手动配置IAM）。

方法2：构建包含私有包的自定义Flex Template镜像 #

如果私有包依赖较多或需要频繁使用，推荐将包预安装在自定义镜像中：

1. 创建Dockerfile，基于官方Dataflow Python镜像，添加私有包安装步骤：

FROM gcr.io/dataflow-templates-base/python39-template-launcher-base

# 复制本地私有包到镜像中
COPY my_package.tar.gz /tmp/

# 安装私有包
RUN pip install /tmp/my_package.tar.gz

# 复制你的管道代码（按需添加）
COPY your_pipeline_code/ /dataflow/template/

2. 构建并推送镜像到GCR：

docker build -t gcr.io/${PROJECT_ID}/dataflow-custom-image:v1 .
docker push gcr.io/${PROJECT_ID}/dataflow-custom-image:v1

3. 在构建Flex Template时指定该自定义镜像，或在模板元数据中配置镜像参数，运行时指定使用该镜像。

额外检查点 #

• 确认extra_package参数在元数据中定义的名称和管道代码中读取的Beam选项名称一致，确保参数被正确传递给Beam管道。
• 检查私有包的tarball是否正确打包（需包含setup.py或pyproject.toml，结构符合Python包规范）。

内容的提问来源于stack exchange，提问作者CClarke