Windows下执行Hadoop WordCount报错:'posix:permissions'不支持
解决Windows下Hadoop 3.4.0执行WordCount时的'posix:permissions'错误
这个错误是因为Hadoop默认配置在Windows环境下会尝试使用POSIX权限属性,但Windows系统不支持该属性,导致抛出异常。以下是具体解决步骤:
- 修改Hadoop安装目录下
etc/hadoop/core-site.xml文件,添加以下配置项,切换为Windows兼容的文件系统权限处理逻辑:<property> <name>fs.permissions.umask-mode</name> <value>000</value> </property> <property> <name>fs.file.impl</name> <value>org.apache.hadoop.fs.LocalFileSystem</value> </property> <property> <name>hadoop.security.authorization</name> <value>false</value> </property> - 打开
etc/hadoop/hadoop-env.cmd文件,确认添加了Windows环境变量配置:set HADOOP_OPTS=-Djava.library.path=%HADOOP_HOME%\bin set HADOOP_HOME_WIN=%HADOOP_HOME% - 若运行的是伪分布式Hadoop,重启所有Hadoop服务;之后重新执行WordCount命令:
hadoop jar "C:\hadoop\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.4.0.jar" wordcount /newdir/HadoopSmall.txt /newdir/smallword
额外提示:如果使用本地文件系统而非HDFS,建议将路径明确指定为file:///C:/newdir/HadoopSmall.txt和file:///C:/newdir/smallword,避免Hadoop对路径解析出现混淆。
内容的提问来源于stack exchange,提问作者Sudhanshu kumar
相关产品推荐
相关产品推荐

