调用Lambda的S3批量操作任务创建失败：Request invalid错误排查

问题概述 #

使用boto3调用S3 Control的create_job接口创建批量任务，通过LambdaInvoke操作处理清单中的S3对象时，收到通用的InvalidRequest 400错误，无详细错误信息。已尝试指定正确的清单/报告格式、传入ClientRequestToken，问题仍存在。

排查步骤 #

1. 验证RoleArn的权限与信任关系 #

• 信任策略：确保角色的信任策略允许S3 Batch Operations服务扮演该角色，信任主体应为batchoperations.s3.amazonaws.com，而非s3.amazonaws.com
• 权限配置：角色需包含以下权限：
  • s3:CreateJob：允许创建批量任务
  • s3:GetObject：访问清单文件所在的S3桶
  • s3:PutObject：写入报告到指定的S3桶
  • lambda:InvokeFunction：调用目标Lambda函数
• ARN正确性：确认RoleArn格式完整，无拼写错误

2. 检查清单文件的有效性 #

• ETag验证：Manifest.Location.ETag需为清单文件的MD5哈希值，注意要去掉S3控制台显示的引号（例如控制台显示"abc123"，代码中应传入abc123）
• 格式与内容：清单必须是CSV格式，首行必须为Bucket,Key，后续每行对应一个S3对象的桶名和对象键，无额外空格或换行
• 位置与权限：清单文件需与当前任务在同一AWS账户下，且RoleArn有权限读取该文件

3. 核对请求参数的细节 #

• AccountId：确保传入的是当前调用方的AWS账户ID，无格式错误（纯数字字符串）
• LambdaInvoke.FunctionArn：确认Lambda函数ARN包含正确的区域信息（S3 Batch是区域服务，必须与Lambda函数在同一区域）
• Report.Bucket：传入纯桶名，不能带s3://前缀
• Manifest.Location.ObjectArn：确认ARN格式正确，例如arn:aws:s3:::your-bucket-name/manifest.csv

4. 启用CloudTrail获取详细错误 #

AWS CloudTrail会记录CreateJob调用的完整请求参数和具体错误原因，开启后可在CloudTrail控制台中查找对应事件，定位具体的无效参数或权限问题。

针对代码的可能调整示例 #

修正角色信任策略 #

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "batchoperations.s3.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

修正角色权限策略 #

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetObject"],
      "Resource": "arn:aws:s3:::your-manifest-bucket/*"
    },
    {
      "Effect": "Allow",
      "Action": ["s3:PutObject"],
      "Resource": "arn:aws:s3:::your-report-bucket/*"
    },
    {
      "Effect": "Allow",
      "Action": "lambda:InvokeFunction",
      "Resource": "your-lambda-function-arn"
    },
    {
      "Effect": "Allow",
      "Action": "s3:CreateJob",
      "Resource": "*"
    }
  ]
}

核对ETag格式 #

确保manifest_etag是不带引号的MD5值：

# 错误示例：带引号
manifest_etag = "\"abc123xyz\""
# 正确示例：纯哈希值
manifest_etag = "abc123xyz"

内容的提问来源于stack exchange，提问作者Anentropic