Druid集群写入AWS S3深度存储遇403权限拒绝问题求助

以下是针对已配置IAM角色但仍出现S3访问拒绝错误的遗漏配置检查点：

• 确认IAM角色权限覆盖所有目标资源
  检查IAM策略是否同时包含深度存储桶（bucket-name）和索引日志桶（your-bucket）的必要权限，所需操作至少包括：s3:PutObject、s3:GetObject、s3:ListBucket、s3:DeleteObject，且资源路径要精确到前缀层级。示例策略：

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::bucket-name",
                  "arn:aws:s3:::bucket-name/druid/segments/*",
                  "arn:aws:s3:::your-bucket",
                  "arn:aws:s3:::your-bucket/druid/indexing-logs/*"
              ]
          }
      ]
  }
  

• 排查S3桶策略的权限冲突
  桶策略的Deny规则会优先于IAM角色的Allow权限，检查桶策略中是否存在拒绝EC2实例角色访问的语句，或确保桶策略明确允许该角色对目标桶和路径的操作。

• 验证EC2实例的IAM角色凭证有效性
  在运行Druid的EC2实例上执行以下命令，确认角色凭证正常：

  1. 获取关联的IAM角色名称：

     curl http://169.254.169.254/latest/meta-data/iam/security-credentials/
     

  2. 检查临时凭证状态（替换[角色名]为上一步结果）：

     curl http://169.254.169.254/latest/meta-data/iam/security-credentials/[角色名]
     

  同时确保Druid进程未被其他AWS凭证（环境变量、~/.aws/credentials文件）覆盖，这些凭证会优先于IAM角色。

• 检查Druid节点的S3配置完整性
  确保所有涉及的Druid节点（Coordinator、Overlord、MiddleManager、Indexer）都配置了S3相关参数，且未遗留druid.s3.accessKey/druid.s3.secretKey这类硬编码凭证配置（使用IAM角色时需移除）。对于新版本Druid，可明确设置druid.s3.useInstanceProfile=true（默认启用，但避免隐式配置问题）。

• 排查网络与VPC端点配置
  如果EC2实例在VPC内使用S3 VPC端点，需确认端点策略允许该IAM角色访问目标S3桶；同时检查实例安全组和NACL是否允许S3方向的出站流量（或VPC端点的流量）。

内容的提问来源于stack exchange，提问作者HEMANT PATEL