Kubeflow Pipeline合并步骤报no2-pvc卷名重复错误求助

运行Kubeflow Pipeline时设计的工作流逻辑：两个步骤并行执行，分别向PVC的两个不同目录写入数据，第三个组件读取这两个目录的数据完成合并后，写入该PVC的其他目录。

vop = dsl.VolumeOp(
            name='no2-pvc',
            resource_name = "no2-pvc",
            size="100Gi",
            modes = dsl.VOLUME_MODE_RWO
        )

    ##LOADING POSITIVE DATA##

    load_positive_data = dsl.ContainerOp(
        name='load_positive_data',
        image=load_positive_data_image,
        command="python",
        arguments=[
            "/app/load_positive_data.py",
        ],
        pvolumes={"/mnt/positive/": vop.volume}).apply(gcp.use_gcp_secret("user-gcp-sa"))


    ##LOADING NEGATIVE DATA##

    load_negative_data = dsl.ContainerOp(
        name='load_negative_data',
        image=load_negative_data_image,
        command="python",
        arguments=[
            "/app/load_negative_data.py",

        ],
        pvolumes={"/mnt/negative/": vop.volume}).apply(gcp.use_gcp_secret("user-gcp-sa"))

    
    ##MERGING POSITIVE AND NEGATIVE DATA##

    marge_pos_neg_data = dsl.ContainerOp(
        name='marge_pos_neg_data',
        image=marged_data_image,
        command="python",
        arguments=[
            "/app/merge_neg_pos.py"
        ],
        pvolumes = {"/mnt/positive/": load_negative_data.pvolume, "/mnt/negative/": load_positive_data.pvolume}
        #volumes={'/mnt': vop.after(load_negative_data, load_positive_data)}
    ).apply(gcp.use_gcp_secret("user-gcp-sa")).after(load_positive_data, load_negative_data)


    ##PROCESSING MARGED DATA##


    process_marged_data = dsl.ContainerOp(
        name='process_data',
        image=perpare_merged_data_image,
        command="python",
        arguments=[
            "/app/prepare_all_dataset.py"
        ], 
        pvolumes = {"/mnt/pos_neg": marge_pos_neg_data.pvolume}
    ).apply(gcp.use_gcp_secret("user-gcp-sa")).after(marge_pos_neg_data)

load_positive_data和load_negative_data两个步骤运行正常，marge_pos_neg_data步骤抛出如下错误：

This step is in Error state with this message: 
task 'no2-pipeline-x5kpd.marge-pos-neg-data' 
errored: Pod "no2-pipeline-x5kpd-2954674781" is invalid: 
spec.volumes[3].name: Duplicate value: "no2-pvc"

错误含义：对应Pod配置无效，spec.volumes字段存在重复的volume名称no2-pvc，违反Kubernetes Pod资源的校验规则。

• 合并步骤的pvolumes配置中，分别从load_negative_data和load_positive_data两个上游步骤获取pvolume引用，但这两个引用指向的是同一个底层PVCno2-pvc。KFP编译Pod配置时，会把传入的每个pvolume条目当成独立volume添加到spec.volumes列表中，两个同名的PVC条目直接触发重名校验错误。
• 原有配置还存在路径映射写反的问题：/mnt/positive/路径挂载了负样本加载步骤关联的卷，/mnt/negative/路径挂载了正样本加载步骤关联的卷，即便解决重名问题，也会出现读取数据不匹配的逻辑错误。
• 后续的数据处理步骤也存在相同的设计问题，从上游合并步骤传递pvolume引用，本质还是同一个PVC，后续也可能触发同类重名错误。

同一个PVC在同一个ContainerOp中只需要引用一次，不需要从不同上游步骤重复传递pvolume引用；由于已经通过.after()明确了步骤执行顺序，不会出现读写时序问题。

1. 所有需要访问该PVC的步骤，直接引用最初VolumeOp生成的vop.volume对象即可，不要链式传递上游步骤的pvolume属性。
2. 合并、处理步骤直接将PVC挂载到统一的根路径/mnt，在容器内直接访问PVC下的positive、negative、pos_neg子目录即可，不需要为每个子目录单独配置挂载。

修复后的合并、处理步骤代码如下：

##MERGING POSITIVE AND NEGATIVE DATA##
marge_pos_neg_data = dsl.ContainerOp(
    name='marge_pos_neg_data',
    image=marged_data_image,
    command="python",
    arguments=[
        "/app/merge_neg_pos.py"
    ],
    # 直接引用原始PVC对象，挂载到统一根目录
    pvolumes = {"/mnt/": vop.volume}
).apply(gcp.use_gcp_secret("user-gcp-sa")).after(load_positive_data, load_negative_data)


##PROCESSING MARGED DATA##
process_marged_data = dsl.ContainerOp(
    name='process_data',
    image=perpare_merged_data_image,
    command="python",
    arguments=[
        "/app/prepare_all_dataset.py"
    ], 
    # 同样直接引用原始PVC对象
    pvolumes = {"/mnt/": vop.volume}
).apply(gcp.use_gcp_secret("user-gcp-sa")).after(marge_pos_neg_data)

对应业务脚本中，将读写路径统一调整为/mnt/positive/、/mnt/negative/、/mnt/pos_neg/即可。

注：如果需要给同一PVC的不同子目录配置单独的挂载点，不要重复传入PVC引用，需要手动配置VolumeMount的subPath字段指定子路径，避免KFP重复生成同名volume条目。

内容的提问来源于stack exchange，提问作者Md Hafizur Rahman