为何在已有S3的EMR集群中仍需部署HDFS？

一、EMR 5.x中HDFS的核心作用（即使数据在S3） #

• 系统服务依赖：EMR 5.x的核心组件（YARN、Hive、Spark）默认依赖HDFS存储运行时关键文件：
  • YARN应用日志：默认存储在HDFS的/var/log/hadoop-yarn/apps，用于集群内日志聚合和通过ResourceManager UI查看作业日志，是EMR集群调试作业的重要途径。
  • Hive临时工作文件：执行查询（如JOIN、聚合）时，Hive会生成临时中间文件，默认写入/tmp/hive目录，作业完成后自动清理（异常中断时可能残留）。
  • Spark作业临时状态：虽然你配置了EBS作为执行器暂存，但Spark的部分跨节点共享临时数据、作业的checkpoint文件（若未指定S3路径）仍会默认存到HDFS。
  • 集群配置同步：EMR会将部分系统配置文件同步到HDFS，保证集群节点间的配置一致性。
• 基础设施兼容性：EMR 5.x的架构基于传统Hadoop生态，HDFS是默认的分布式存储层，很多组件的初始化逻辑依赖HDFS服务正常运行，强行禁用会导致服务启动失败或不稳定。

二、你看到的2GB左右HDFS块是什么？ #

这些小尺寸块大概率是以下几类文件：

• YARN应用日志文件：每个作业的日志会被分割、存储为HDFS块，若作业日志量较大，会形成多个块，合并后可能接近2GB。
• Hive临时中间文件：复杂Hive查询生成的临时数据块，作业完成后未及时清理（比如作业异常终止）。
• Spark shuffle临时文件：若Spark作业的shuffle配置未完全指向EBS，部分shuffle数据会暂存到HDFS，形成块文件。

你可以通过以下命令查看HDFS上的文件详情来确认：

# 查看HDFS根目录结构
hdfs dfs -ls /
# 查看Hive临时目录文件
hdfs dfs -ls /tmp/hive
# 查看YARN日志目录
hdfs dfs -ls /var/log/hadoop-yarn/apps

三、能否禁用HDFS？ #

在EMR 5.32.0中不建议禁用HDFS：

• 大量核心服务依赖HDFS，修改所有组件的配置路径（替换为S3或本地EBS）会非常繁琐，且容易引发兼容性问题。
• 若强制禁用，会丢失日志聚合、作业临时文件管理等核心功能，增加集群调试和维护的难度。
  如果确实想尝试无HDFS的集群，建议升级到EMR 6.x版本，该版本支持更多无HDFS的部署选项（如仅使用S3作为存储层）。

内容的提问来源于stack exchange，提问作者Venkatesan Muniappan