Dataflow使用--requirements_file参数时是否会将依赖暂存至GCS
核心结论
你观测到的这套依赖预下载、暂存GCS的行为是官方明确设计的稳定特性,绝非随时可能变动的临时实现细节。
- 这套机制的设计逻辑非常清晰:在Dataflow Pipeline提交阶段,只要你传入
--requirements_file参数,依赖的版本解析、全量安装包下载动作完全发生在提交端(也就是你本地跑提交命令的环境、或是触发提交的CI/Cloud环境)。提交端会把所有依赖的wheel/源码tarball打包成依赖安装包归档,自动上传到Pipeline配置中指定的GCS staging路径下。后续所有工作节点启动时,直接从这个GCS路径拉取预存的依赖完成安装,全程不需要发起对pypi.org的出站请求。 - 你查到的“工作节点需要访问pypi”的文档描述,和这个场景并不冲突,只是对应的适用范围不同:
- 2019年前后Beam/Dataflow正式推出这套依赖预打包逻辑之前的老版本,确实没有这套自动上传能力,那个阶段的工作节点启动时会直接在本地执行pip install,自然需要公网访问pypi的权限,部分留存的历史文档是基于这个老版本的行为撰写的。
- 如果你没有走内置的
--requirements_file自动处理流程——比如自定义了容器启动脚本手动处理依赖、在Pipeline的运行时代码里动态执行pip install、或是requirements里包含安装阶段需要动态从公网拉取额外资源的特殊包——这种场景下工作节点才会需要访问pypi的公网权限。
- 目前这套预上传依赖的能力没有任何调整、废弃的计划,是官方针对无公网工作节点的推荐适配方案:只要走官方的requirements参数传依赖,就不需要给私网/无公网IP的工作节点额外开放pypi的出站权限,仅需保证工作节点拥有对应GCS staging桶的读取权限即可正常运行任务。
内容的提问来源于stack exchange,提问作者Thomas Ruble
相关产品推荐
相关产品推荐

