Windows本地运行Hadoop WordCount MapReduce输出为空问题求助

给你几个针对性的排查方向，都是Windows下用Eclipse跑MapReduce的常见坑：

• 先抓日志细节
  job.waitForCompletion(true)返回false时，Hadoop肯定在控制台输出了具体失败原因，别忽略控制台的ERROR、WARN日志，比如输入路径找不到、权限不足、依赖缺失、配置错误这些，日志是最直接的排查线索。

• 核对输入路径与文件

  • 确认输入路径格式：Windows本地模式下，路径要写对，比如用绝对路径file:///C:/your_input_dir或者C:/your_input_dir，如果是相对路径，得对应Eclipse的工作目录，别随便写个input就以为程序能找到。
  • 输入文件不能是空的，还要确保程序有读取权限——别把文件放在C:\Program Files这种受系统保护的目录里，换个普通文件夹试试。

• 检查本地模式配置
  Windows跑MapReduce本地模式必须做这几件事：

  • 系统环境变量配置HADOOP_HOME，把%HADOOP_HOME%\bin加入PATH，还要替换对应版本的hadoop.dll和winutils.exe（这俩是Windows跑Hadoop的必备补丁，版本必须和你的Hadoop一致）。
  • 代码里明确设置本地模式的配置：

    Configuration conf = new Configuration();
    conf.set("mapreduce.framework.name", "local");
    conf.set("fs.defaultFS", "file:///");
    

  要是没设置，程序会默认尝试连接集群，没搭集群的话直接就提交失败了。

• 遵守Hadoop输出路径规则
  Hadoop要求输出路径必须不存在，每次运行前手动删掉旧的output\wordcount目录再重试。另外，输出路径的父目录要确保程序能创建，别用权限受限的路径。

• 代码关键点自查
  把你的WordCount.java贴出来的话能更精准排查，但先自己核对这几点：

  • Mapper的map方法是不是没调用context.write(key, value)？没输出键值对的话，Reducer自然没数据处理。
  • Reducer的reduce方法有没有正确输出结果？比如是不是漏了context.write(key, result)？
  • Job配置有没有指定正确的组件和类型：

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    job.setMapperClass(WordCountMapper.class);
    job.setReducerClass(WordCountReducer.class);
    

  类型不匹配会导致Job静默失败，输出为空。

• pom.xml依赖对齐
  确认pom.xml里的Hadoop依赖版本和你本地安装的完全一致，比如Hadoop 3.x和2.x的API差异很大，版本混用时会出现类找不到、方法不兼容的问题。另外，依赖的scope如果设为provided，要确保Eclipse能加载到本地Hadoop的jar包，不然运行时会缺类。

内容的提问来源于stack exchange，提问作者Phong Nguyen