使用自定义容器运行Beam Dataflow的SDK下载与预构建提示疑问

环境与配置 #

• Python版本：3.8
• Beam版本：2.41.0rc1
• Dataflow运行参数：

argv = [
    "--runner", "DataflowRunner",
    "--experiments=use_runner_v2",
    "--sdk_container_image=us.gcr.io/some_beam_image_based_on_2.41.0rc1",
]

自定义容器构建配置 #

WORKSPACE文件

# https://hub.docker.com/r/apache/beam_python3.8_sdk/tags
container_pull(
    name = "beam_python",
    # 2.41.0rc1
    digest = "sha256:0036b90ecfefddd1dd1614b9cd1ccec7c5a906ee2185542996bc26d6408d9e14",
    registry = "registry.hub.docker.com",
    repository = "apache/beam_python3.8_sdk",
)

BUILD文件

cc_image(
    name = "sample_image",
    binary = ":sample",
)

container_layer(
    name = "sample_layer",
    tars = [":sample_image"],
)

container_image(
    name = "beam_sample_image",
    base = "@beam_python//image",
    layers = [":sample_layer"],
)

容器内已安装自定义apache-beam（版本疑似2.41.0rc1），但日志显示仍从PyPI下载SDK包并上传至GCS，同时提示使用预构建工作流，有以下两个疑问：

1. 本地和容器均已安装Beam，为何日志显示重复下载SDK？
2. 已使用自定义容器，为何仍收到预构建工作流的提示？

针对问题1：SDK重复下载的原因 #

• 仅指定--sdk_container_image不足以让Dataflow完全跳过本地SDK打包流程，默认情况下Dataflow仍会尝试打包本地依赖并上传。需添加--sdk_location=container参数，明确告知Dataflow直接使用容器内的SDK，无需从本地或PyPI下载。
• 需验证容器内的Beam版本与本地运行作业时使用的版本完全一致（包括rc1的版本标识），版本不匹配会触发Dataflow自动下载对应版本的SDK包。

针对问题2：预构建工作流提示的原因 #

• 预构建工作流提示的触发，通常是因为Dataflow检测到作业提交流程可优化，但使用自定义容器时需确保use_runner_v2实验特性正确生效，同时容器镜像需满足Runner V2的要求：镜像内包含完整的Beam SDK环境，且启动命令符合Dataflow的预期格式。
• 若本地提交作业时仍依赖本地SDK的部分组件（未完全将所有依赖隔离到容器内），Dataflow可能会回退到预构建工作流提示。此时需确保作业的所有依赖都已包含在自定义容器中，同时通过--sdk_location=container明确指定使用容器内的SDK。

内容的提问来源于stack exchange，提问作者bill