Vertex AI Pipeline运行时与基础镜像的依赖库版本差异原因咨询

问题背景 #

使用Vertex AI Pipeline自定义组件时，通过@component指定基础镜像，但组件运行时的依赖版本与基础镜像存在差异：

基础镜像依赖版本：

google-api-core==2.11.1
google-auth==2.21.0
google-auth-oauthlib==1.0.0
google-cloud-aiplatform==1.9.0
google-cloud-appengine-logging==0.2.0
google-cloud-audit-log==0.2.5
google-cloud-bigquery==2.26.0
google-cloud-core==2.3.3
google-cloud-logging==2.6.0
google-cloud-storage==1.42.2

组件运行时依赖版本：

google-api-core==2.10.2
google-api-python-client==1.12.11
google-auth==1.35.0
google-auth-httplib2==0.1.0
google-auth-oauthlib==1.0.0
google-cloud-aiplatform==1.9.0
google-cloud-appengine-logging==0.2.0
google-cloud-audit-log==0.2.5
google-cloud-bigquery==2.26.0
google-cloud-core==2.3.3
google-cloud-logging==2.6.0
google-cloud-storage==1.42.2

可能的原因 #

• KFP SDK自动注入依赖：使用@component装饰器时，Kubeflow Pipelines（KFP）SDK会自动添加组件运行所需的Pipeline控制平面兼容依赖，比如google-api-python-client、google-auth-httplib2这类包，同时可能调整google-api-core、google-auth的版本，以保证组件与Vertex AI平台的通信兼容性。
• 间接依赖版本冲突：新增的google-api-python-client等包可能对google-api-core、google-auth有更低版本的依赖要求，pip在安装时会自动降级这些包来解决版本冲突，最终导致运行时版本与基础镜像不一致。
• 组件构建的隐性安装操作：即使未显式指定packages_to_install，组件构建过程中可能存在隐性的依赖安装逻辑（比如KFP为支持组件序列化、参数传递等功能自动安装的依赖），这些操作会在基础镜像之上修改依赖版本。
• Vertex AI运行时环境注入：Vertex AI在启动组件容器时，可能会注入用于监控、日志采集、组件间通信的辅助依赖，这些依赖可能会引入或修改现有包的版本，以适配平台运行时规范。

验证方法 #

• 查看组件构建日志，确认是否有KFP自动安装依赖的记录
• 在组件代码中添加pip freeze > dependencies.txt命令，导出完整依赖树，分析版本冲突的根源
• 尝试使用@component(skip_install=True)参数（适用于KFP v2），禁止SDK自动注入依赖，对比运行时版本是否与基础镜像一致

内容的提问来源于stack exchange，提问作者Ali Tber