AWS EMR配置S3作为HDFS存储失败求助

你遇到的集群创建失败，根源在于两处配置错误，再加上对EMR存储逻辑的理解偏差，我给你拆解下：

1. 先修正配置里的明显笔误 #

你写的fs.s3a.imp是拼写错误，正确的属性名是fs.s3a.impl（最后三个字母是impl，代表implementation）；同时对应的文件系统类也不对——EMR 5.13.0适配的Hadoop版本中，官方推荐的S3文件系统是S3A，对应的实现类是org.apache.hadoop.fs.s3a.S3AFileSystem，旧的org.apache.hadoop.fs.s3.S3FileSystem已经被弃用，不能再使用。

2. 绝对不要修改fs.defaultFS为S3路径 #

这是导致Bootstrap失败的核心原因：EMR集群的fs.defaultFS默认指向集群内部的本地HDFS，YARN、MapReduce、HBase等组件的运行都依赖这个本地HDFS存储临时数据、调度元数据。你强行把它改成S3路径，会导致组件初始化时找不到必要的存储依赖，直接启动失败。

正确的配置方式 #

如果你想让EMR优先用S3存储业务数据，完全不需要修改默认文件系统，甚至EMR 5.13.0已经默认配置好了S3A客户端，大多数场景下不需要额外配置。如果需要手动指定（比如调整特殊参数），正确的core-site配置应该是这样：

[
  {
    "Classification": "core-site",
    "Properties": {
      "fs.s3a.impl": "org.apache.hadoop.fs.s3a.S3AFileSystem"
    }
  }
]

之后你提交Spark、Hive作业时，直接用s3a://my-s3-bucket/path这样的路径读写数据即可，EMR会自动处理S3的访问逻辑。

如果确实需要把部分临时目录迁移到S3（不建议完全替换，会影响性能），可以配置hadoop.tmp.dir为S3路径，但必须确保EMR集群的IAM角色拥有对应的S3读写权限。

内容的提问来源于stack exchange，提问作者Utk787