SageMaker Processing Job保存CSV文件遇权限拒绝问题求助

核心原因 #

这个权限错误的本质是SageMaker Processing容器内运行代码的用户没有对/opt/ml/processing/output目录的写入权限，和Step Functions的调用方式无关（通过Lambda调用也出现同样问题验证了这一点）。

具体排查与修复步骤 #

1. 先验证容器内的权限情况（调试用） #

在你的processing.py开头添加以下代码，打印当前用户和目录权限，确认问题根源：

import os
print("当前运行用户:", os.getlogin())
print("输出目录权限信息:", os.stat("/opt/ml/processing/output"))
print("输出目录现有内容:", os.listdir("/opt/ml/processing/output"))

运行Processing Job后查看日志：

• 如果显示当前用户不是root或sagemaker-user，或者目录权限显示w位未开启，说明权限配置存在问题。

2. 修复容器内目录权限 #

情况A：使用官方SageMaker Processing容器（如sklearn、PyTorch等）

官方容器默认会创建/opt/ml/processing目录并赋予sagemaker-user读写权限，但偶尔会出现目录未自动创建的情况。可以在代码写入文件前手动创建目录：

import os
# 确保输出目录存在，不存在则创建
os.makedirs("/opt/ml/processing/output", exist_ok=True)

# 之后再执行写入操作
df.to_csv("/opt/ml/processing/output/result.csv", index=False)

情况B：使用自定义容器

如果是你自己构建的Docker容器，需要在Dockerfile中明确设置目录权限和运行用户：

# 创建并设置Processing所需目录的权限
RUN mkdir -p /opt/ml/processing/input /opt/ml/processing/output /opt/ml/processing/code && \
    chown -R sagemaker-user:sagemaker-user /opt/ml/processing

# 指定运行容器的用户为sagemaker-user（避免用root带来的权限问题）
USER sagemaker-user

3. 修正ProcessingOutputConfig的S3Uri配置（额外优化） #

你的当前配置中，S3Uri指向了一个具体文件s3://my-dataset/data.csv，这会导致SageMaker在上传输出时尝试覆盖该文件，后续可能出现上传错误。应该将其改为目录路径：

"ProcessingOutputConfig": {
  "Outputs": [
    {
      "OutputName": "Output-1",
      "S3Output": {
        "S3Uri": "s3://my-dataset/output/",  // 修改为目录路径
        "LocalPath": "/opt/ml/processing/output/",
        "S3UploadMode": "EndOfJob"
      }
    }
  ]
}

4. 确认ExecutionRole的S3权限（补充检查） #

虽然当前报错是本地文件权限，但后续上传S3需要确保Processing Job的执行角色（ExecutionRoleArn）拥有对目标S3目录的s3:PutObject权限：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "s3:PutObject",
      "Resource": "arn:aws:s3:::my-dataset/output/*"
    }
  ]
}

内容的提问来源于stack exchange，提问作者Gwenda Thomas