Argo Workflow容器/脚本无法读取S3下载CSV问题排查

核心问题定位 #

你遇到的/data不是目录、文件无法定位的问题，本质是Argo Artifacts的挂载逻辑错误：当你把artifact的path直接设为/data时，Argo会将下载的文件直接挂载为/data这个文件，而非把文件放到/data目录下，导致后续容器无法识别该路径为目录。

具体修复步骤 #

1. 修正Volume与Artifact路径配置 #

首先定义一个共享volume（emptyDir或PVC），确保init容器和主容器都挂载到同一个目录，同时明确artifact的下载路径为目录下的具体文件名：

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: s3-csv-convert-
spec:
  entrypoint: main
  volumes:
    - name: data-volume
      emptyDir: {}  # 或使用PVC：persistentVolumeClaim: {claimName: your-pvc}
  templates:
    - name: main
      steps:
        - - name: download-csv
            template: download-from-s3
        - - name: convert-file
            template: convert-csv-to-json
        - - name: upload-result
            template: upload-to-s3

    - name: download-from-s3
      initContainers:
        - name: download
          image: argoproj/argoexec:v3.4.14
          volumeMounts:
            - name: data-volume
              mountPath: /data  # 挂载为目录
          artifacts:
            - name: input-csv
              s3:
                bucket: your-s3-bucket
                key: path/to/input.csv
                accessKeySecret:
                  name: aws-secret
                  key: accesskey
                secretKeySecret:
                  name: aws-secret
                  key: secretkey
              path: /data/input.csv  # 指定到具体文件名，而非目录

    - name: convert-csv-to-json
      container:
        image: your-convert-image:latest
        volumeMounts:
          - name: data-volume
            mountPath: /data
        command: ["python", "/app/convert.py"]
        args: ["/data/input.csv", "/data/output.json"]

    - name: upload-to-s3
      container:
        image: argoproj/argoexec:v3.4.14
        volumeMounts:
          - name: data-volume
            mountPath: /data
        artifacts:
          - name: output-json
            s3:
              bucket: your-s3-bucket
              key: path/to/output.json
              accessKeySecret:
                name: aws-secret
                key: accesskey
              secretKeySecret:
                name: aws-secret
                key: secretkey
            path: /data/output.json

2. 验证Init容器下载路径 #

执行以下命令查看init容器的下载日志，确认文件是否正确下载到/data/input.csv：

kubectl logs <workflow-pod-name> -c download

3. 解决PVC路径冲突 #

如果使用PVC，确保：

• PVC挂载到容器的/data目录（而非文件）
• 所有容器对PVC的挂载路径一致，不存在“一个挂载为文件、一个挂载为目录”的冲突
• PVC的存储类支持目录挂载（大部分默认存储类都支持）

4. 容器权限检查 #

确保转换容器对/data目录有读写权限：

• 在Dockerfile中提前创建目录并设置权限：

  RUN mkdir -p /data && chmod 777 /data
  

• 或在Workflow模板中添加securityContext：

  container:
    # ...其他配置
    securityContext:
      runAsUser: 1000
      runAsGroup: 1000
      fsGroup: 1000
  

5. 快速调试方法 #

临时修改转换容器的命令为sleep 3600，进入容器查看/data目录内容：

container:
  image: your-convert-image:latest
  volumeMounts:
    - name: data-volume
      mountPath: /data
  command: ["sleep", "3600"]

然后执行：

kubectl exec -it <workflow-pod-name> -c convert-csv-to-json -- /bin/sh
# 进入后执行ls -l /data查看文件是否存在

内容的提问来源于stack exchange，提问作者TitaniuM