关于Hadoop Map-only作业中Mapper输出超出dfs.blocksize的疑问

你提到的这个问题其实是对HDFS参数和MapReduce作业流程的常见误解，咱们把核心逻辑理清楚：

首先得明确**dfs.blocksize的作用范围**：这个参数是用来定义HDFS上静态存储文件的默认块大小，它管的是文件上传到HDFS后如何被分割存储，和MapReduce作业运行期间Mapper在本地磁盘生成的临时输出没有直接绑定关系。所以你设置了512MB的HDFS块大小，并不会自动约束Mapper的输出文件大小。

然后看Mapper输出的生成逻辑：
在仅Map阶段的作业里，没有Reducer来合并分片，Mapper的输出逻辑是这样的：

• Mapper先把输出数据写到内存缓冲区，当缓冲区数据量达到mapreduce.task.io.sort.mb（默认100MB）的80%时，会触发溢写操作，把数据刷到本地磁盘的临时文件；
• 所有溢写文件最终会合并成一个完整的本地输出文件（如果没有Reducer的话），这个文件的大小完全由你的输入数据量、处理逻辑的输出膨胀率决定——比如输入500MB数据，处理后输出膨胀到512.9MB，那最终的本地文件自然就超过了512MB。

那为什么你会觉得Mapper输出应该受dfs.blocksize限制？大概率是混淆了作业运行时的本地临时输出和最终写入HDFS的存储块：当作业完成后，本地的输出文件会被上传到HDFS，这时候HDFS才会按照dfs.blocksize把这个大文件分割成多个512MB的块来存储（最后一块可能小于512MB），这一步才是dfs.blocksize发挥作用的地方。

如果你的需求是想让最终的HDFS存储块符合512MB的设置，其实不需要额外操作——HDFS会自动处理。但如果是想控制作业运行期间本地输出的大小，可以试试这两个方向：

• 开启Mapper输出压缩：设置mapreduce.map.output.compress=true，搭配Snappy或LZ4这类高效压缩算法，能大幅降低输出数据量；
• 调整内存缓冲区大小：修改mapreduce.task.io.sort.mb参数，不过要注意，太小的话会导致频繁溢写，反而影响作业性能，得根据实际情况权衡。

内容的提问来源于stack exchange，提问作者Zombie