在SageMaker Pipeline中添加ConditionStep时遭遇AccessDenied权限错误

核心结论 #

添加ConditionStep本身不会触发S3 PutObject的AccessDenied错误，这不是预期行为。是否需要配置spark_event_logs_s3_uri取决于你的Spark任务是否需要生成事件日志，但它不是导致当前权限问题的直接原因。

排查与解决方向 #

• 权限范围不匹配：
  检查SageMaker Pipeline执行角色的权限策略，确认是否包含对任务要写入的S3路径的PutObject权限。添加ConditionStep后，任务可能使用了动态生成的路径（比如依赖Condition参数的输出路径），而原有权限的路径规则没覆盖到这些新路径，导致权限不足。同时也要检查目标S3桶的桶策略和ACL，确认没有拒绝当前角色写入的规则。

• Spark事件日志的潜在影响：
  如果你的Spark任务默认开启了事件日志，但未指定spark_event_logs_s3_uri，Spark会尝试写入默认的S3路径，若该路径不在角色权限范围内，就会触发AccessDenied。这种情况下，显式配置spark_event_logs_s3_uri到一个有权限的S3位置就能解决日志写入问题，但这是针对日志的补充配置，和ConditionStep本身无关。

• 动态路径验证：
  确认SparkJarProcessor的输出路径、日志路径等是否依赖ConditionStep的参数生成，这些动态路径必须在角色权限的允许范围内，必要时调整权限策略的路径匹配规则。

具体修复步骤 #

1. 先验证SageMaker执行角色对目标S3路径的PutObject权限，确保路径规则覆盖所有可能的动态生成子路径（比如用"s3://your-bucket/*"这种通配符）。
2. 检查S3桶的桶策略，移除任何可能拒绝当前角色写入的条目，同时确认桶的ACL允许角色进行写入操作。
3. 若确认是Spark事件日志写入失败，在初始化SparkJarProcessor时显式指定日志路径：

   processor = SparkJarProcessor(
       # 其他必填参数如role、instance_count等
       spark_event_logs_s3_uri="s3://your-permitted-bucket/spark-task-logs/"
   )
   

内容的提问来源于stack exchange，提问作者OnTheWheels