AWS EMR配置S3加速端点时s3-dist-cp抛出异常求助

针对你在EMR 5.13.0版本上运行s3-dist-cp配置S3加速端点时遇到的异常，我来帮你梳理解决方案：

从错误日志里的核心提示IllegalStateException: To enable accelerate mode, please use AmazonS3ClientBuilder.withAccelerateModeEnabled(true)可以看出，问题出在两个地方：你只指定了加速端点，但没有明确启用S3加速模式，同时端点的格式也有误。

需要添加和修正的参数 #

• 添加--s3EnableAccelerateMode true：这个参数会触发底层AWS SDK启用S3加速模式，正好对应错误提示里要求的配置项
• 修正--s3Endpoint值：你之前使用的bucket.s3-accelerate.amazonaws.com格式错误，标准的S3加速端点是s3-accelerate.amazonaws.com，无需将bucket名称包含在端点中

修改后的完整命令 #

s3-dist-cp --targetSize 1000 --outputCodec=gz --s3EnableAccelerateMode true --s3Endpoint=s3-accelerate.amazonaws.com --groupBy '.*(/(\d\d)/\d\d/\d\d/.*)' --src s3a://sourcebucket/ --dest s3a://destbucket/

额外验证要点 #

• 确认源bucket和目标bucket都已在S3控制台的属性页面中启用了传输加速功能
• 检查EMR集群的IAM角色是否拥有访问这两个bucket的权限，且没有限制S3加速端点的访问

内容的提问来源于stack exchange，提问作者Kannaiyan