EMR Step未在阈值时间启动的调试方法及SNS通知配置方案

• 校验Step Functions调用参数：确认任务定义中ClusterId参数值与目标EMR集群ID完全一致，常见误提交到已终止集群、同环境其他集群的场景，此时Step会返回提交成功但目标集群无对应记录。
• 提取Step Functions调用AddJobFlowSteps接口返回的StepId，执行CLI命令aws emr describe-step --cluster-id <目标集群ID> --step-id <返回的StepId>查询任务状态，确认任务是否真的不存在。
• 检查Step Functions IAM角色权限：确认关联角色具备emr:AddJobFlowSteps权限，同时校验权限的资源限制、条件限制是否包含目标EMR集群的ARN，部分带限制的权限配置会出现API返回200但实际请求被静默拦截的情况。
• 查看CloudTrail日志：搜索AddJobFlowSteps事件，核对请求的发起时间、参数、响应结果，确认是否存在隐式权限拒绝、服务端错误的记录，可直接定位请求拦截环节。
• 校验EMR集群状态：确认目标集群处于RUNNING或WAITING状态，已终止、正在启停中的集群不会接收新的Step任务，部分EMR版本会对这类请求返回提交成功但不做处理。

• 方案1（基于Step Functions内置逻辑实现）：
  • 在AddJobFlowSteps任务节点后新增等待节点，设置等待时长为自定义的启动阈值（比如15分钟）
  • 等待节点后新增调用emr:ListSteps/emr:DescribeStep的任务节点，传入集群ID和之前返回的StepId查询任务状态
  • 新增分支判断：如果查询到Step处于PENDING/RUNNING状态，继续执行原有管道逻辑；如果查询不到Step记录、状态异常，直接调用SNS的Publish接口发送通知，通知内容可自定义包含Step ID、集群ID、执行时间等信息
• 方案2（基于CloudWatch告警实现）：
  • 配置CloudWatch日志指标过滤器，分别匹配Step Functions的EMR Step提交成功日志、EMR的Step启动日志
  • 创建CloudWatch告警，规则为提交成功日志产生后，阈值时间内未匹配到对应Step的启动日志
  • 将告警关联到预先创建的SNS主题，告警触发时自动发送通知

内容的提问来源于stack exchange，提问作者Data girl