如何检索Map任务输出文件？配置core-site.xml临时目录仍被清空

我来帮你捋捋这个问题——Map任务的输出文件被自动清空确实挺头疼的，尤其是你已经配置了core-site.xml的临时目录还遇到这个情况。其实核心原因是Hadoop MapReduce的默认行为，咱们一步步拆解原因和解决办法：

为什么输出文件会被清空？ #

Map任务的输出属于中间临时数据，Hadoop的默认机制是在整个Job完成后，自动清理这些中间文件，哪怕你配置了hadoop.tmp.dir也没用——因为临时目录只是存储这些文件的位置，Job的清理逻辑还是会把对应Job的临时子目录删掉。

具体解决办法 #

1. 禁用Job完成后的自动清理机制 #

这是最直接的办法，通过配置参数让Hadoop保留中间输出文件：

• 代码中临时设置（推荐，只针对当前Job生效）：
  在初始化Job的时候添加配置：

  Configuration conf = new Configuration();
  // 关闭Job完成后的输出清理
  conf.setBoolean("mapreduce.job.output.cleanup", false);
  Job job = Job.getInstance(conf, "YourJobName");
  

• 全局配置（不推荐，会影响所有Job）：
  修改mapred-site.xml文件，添加以下配置，然后重启Hadoop集群：

  <property>
      <name>mapreduce.job.output.cleanup</name>
      <value>false</value>
  </property>
  

2. 自定义Map任务的输出路径 #

如果不想修改全局配置或Job参数，可以让Map任务把输出写到你指定的独立目录，避开Hadoop的临时清理逻辑：

• 在Mapper的setup方法里，手动创建自定义输出路径，然后在map方法中把结果写入这个路径（注意要处理好文件写入的并发问题，比如给每个Map任务的输出文件加唯一标识）。
• 确保这个自定义目录有足够的读写权限，并且不会和其他Job的输出冲突。

3. 验证core-site.xml配置是否生效 #

有时候配置没生效是因为客户端没读取到正确的配置文件，你可以通过以下命令检查当前生效的临时目录：

hadoop conf -confKey hadoop.tmp.dir

如果输出不是你配置的路径，需要检查配置文件的位置是否正确，或者重启集群让配置生效。

4. 临时调试方案（仅用于排查问题） #

如果只是临时想看Map输出，可以在Job运行过程中（还未完成时），通过HDFS命令查看临时目录下的文件：

hdfs dfs -ls /your/configured/tmp/dir/hadoop-yarn/staging/your-username/.staging/job_<job-id>/

不过这个方法只能在Job运行时查看，Job完成后文件还是会被清理。

内容的提问来源于stack exchange，提问作者Artwell