修改WordCount代码指定HDFS输入输出路径是否正确？

直接指定完整的HDFS URI（hdfs://localhost:9000/user/prac/input）的方式，确实能让WordCount任务正确访问HDFS上的目标输入目录，并将结果输出到指定的HDFS输出目录。

不过有几个关键注意事项需要确认：

• 端口正确性：确保你的HDFS NameNode的RPC监听端口确实是9000。可以查看Hadoop配置文件hdfs-site.xml中的dfs.namenode.rpc-address项，不同环境或版本可能使用8020作为默认端口，要保证代码中的端口和实际配置一致。

• 输出目录唯一性：Hadoop强制要求输出目录不能预先存在。运行任务前，务必确认hdfs://localhost:9000/user/prac/output不存在，否则任务会直接报错。可以通过HDFS命令提前清理：

  hdfs dfs -rm -r /user/prac/output
  

• 更优雅的实现方式：硬编码HDFS URI的方式虽然可行，但不够灵活。推荐通过加载Hadoop配置文件来自动获取HDFS地址，避免写死主机和端口：

  Configuration conf = new Configuration();
  Job job = Job.getInstance(conf, "wordcount");
  
  // 直接使用HDFS路径即可，无需写完整URI
  FileInputFormat.addInputPath(job, new Path("/user/prac/input"));
  FileOutputFormat.setOutputPath(job, new Path("/user/prac/output"));
  
  System.exit(job.waitForCompletion(true) ? 0 : 1);
  

  这种方式需要确保Hadoop的core-site.xml和hdfs-site.xml文件在项目的classpath中（比如IntelliJ的resources目录），程序会自动从中读取HDFS的地址配置。

• 本地IDE运行的环境要求：如果在IntelliJ本地运行任务，需要：

  • 本地已配置HADOOP_HOME环境变量
  • 确保Hadoop的native库（对应操作系统版本）能被正确加载，避免出现NativeIO相关的报错

内容的提问来源于stack exchange，提问作者colabath