如何无需访问密钥，通过IAM角色配置hadoop-aws的S3A连接器？

可以实现，只要你的应用运行环境已经绑定了IAM实例/服务角色（比如EC2实例角色、EKS Pod IRSA角色、Lambda执行角色等），就能完全不用硬编码访问密钥，通过环境自带的IAM角色完成S3A假定角色的认证流程。

具体配置步骤 #

• 确认运行环境的IAM角色权限：
  该角色需要被授予sts:AssumeRole权限，允许调用AWS STS服务获取目标假定角色的临时凭证；同时，目标假定角色的信任策略要添加当前环境角色的ARN作为可信实体，允许其进行角色假定。
• 配置S3A的核心属性：

  # 指定要假定的目标角色ARN
  fs.s3a.assumed.role.arn=arn:aws:iam::123456789012:role/your-target-role
  # 使用环境实例角色作为凭证提供者，无需硬编码密钥
  fs.s3a.assumed.role.credentials.provider=com.amazonaws.auth.InstanceProfileCredentialsProvider
  

  不需要配置AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY这类密钥相关的环境变量或配置项。

关键注意事项 #

• 版本兼容性：确保使用的hadoop-aws版本在3.3.x及以上，该版本对实例角色凭证提供者的支持更稳定，避免老版本中存在的认证逻辑缺陷。
• 凭证自动刷新：InstanceProfileCredentialsProvider会自动从AWS元数据服务（IMDS）获取临时凭证，并在凭证过期前自动刷新，无需手动维护凭证生命周期。
• 环境适配：如果是在EKS、ECS这类托管服务中，只要正确配置了服务角色绑定（比如IRSA），同样可以使用上述配置，底层会自动对接AWS的凭证服务。

内容的提问来源于stack exchange，提问作者Jeet Banerjee