如何设置Kubeflow Pipeline的S3存储路径及ConfigMap配置？

一、是否支持指定S3前缀？ #

是的，Kubeflow Pipelines（KFP）完全支持为S3存储指定自定义前缀，借此可以隔离不同流水线的存储资源，避免文件命名冲突，更高效地管理流水线 artifacts。

二、ConfigMap配置步骤 #

1. 定位目标ConfigMap #

首先在kubeflow命名空间下找到KFP的核心配置ConfigMap，通常名称为ml-pipeline-config，可通过以下命令确认：

kubectl get configmaps -n kubeflow | grep ml-pipeline

2. 编辑ConfigMap添加前缀配置 #

使用kubectl编辑该ConfigMap：

kubectl edit configmap ml-pipeline-config -n kubeflow

在data字段下添加或修改S3前缀配置，同时确保已配置好S3基础连接信息（若未配置需一并补充）：

data:
  # S3基础连接配置（已配置可忽略）
  artifactRepository.s3.bucket: "your-s3-bucket-name"
  artifactRepository.s3.endpoint: "s3.your-endpoint.com"
  artifactRepository.s3.region: "your-region"
  artifactRepository.s3.accessKey: "your-access-key"
  artifactRepository.s3.secretKey: "your-secret-key"
  # 自定义S3前缀配置
  artifactRepository.s3.prefix: "kubeflow-pipelines/prod/"

注意：前缀建议以斜杠/结尾，确保路径层级清晰。

3. 重启KFP组件使配置生效 #

修改ConfigMap后，需要重启相关KFP服务以加载新配置：

kubectl rollout restart deployment ml-pipeline -n kubeflow
kubectl rollout restart deployment ml-pipeline-ui -n kubeflow
kubectl rollout restart deployment ml-pipeline-persistenceagent -n kubeflow

4. 验证配置效果 #

运行一条测试流水线，登录S3控制台或使用aws s3 ls命令检查目标桶中是否在指定前缀路径下生成了流水线的artifacts文件，以此确认配置生效。

内容的提问来源于stack exchange，提问作者shaamy