MacOS High Sierra 10.13.3下Hadoop 3.0.0启动DFS报错求助

我之前在Mac环境部署Hadoop 3.x的时候也碰到过这个一模一样的警告，虽然这个提示大多时候不会影响Hadoop的核心功能，但如果想要彻底解决或者优化IO性能，咱们可以从这几个方向入手：

1. 确认原生库架构与Mac系统匹配 #

Hadoop的原生库是分硬件架构的，MacOS High Sierra（Intel芯片）属于x86_64架构，先检查当前Hadoop自带的原生库是否适配：

• 打开终端，执行命令查看库文件架构：

  file $HADOOP_HOME/lib/native/libhadoop.dylib
  

• 如果输出不是Mach-O 64-bit dynamically linked shared library x86_64，说明自带的原生库和你的系统不兼容。

解决办法：

• 自行编译适配Mac的原生库：先通过Homebrew安装依赖（Xcode、cmake、openssl等），然后下载Hadoop 3.0.0源码，编译时指定x86_64架构；
• 或者替换第三方已经编译好的适配MacOS的Hadoop原生库，覆盖$HADOOP_HOME/lib/native下的文件。

2. 检查并修正hadoop-env.sh配置 #

确保你在$HADOOP_HOME/etc/hadoop/hadoop-env.sh里的配置正确无误：

• 添加或修改以下变量：

  # 指定Java库路径指向Hadoop原生库目录
  export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
  # 声明原生库位置
  export HADOOP_NATIVE_LIB=$HADOOP_HOME/lib/native
  # 确认JAVA_HOME指向正确的JDK8路径（Hadoop 3.0.0依赖JDK8）
  export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.xxx.jdk/Contents/Home
  

• 修改完成后，执行命令让配置生效：

  source $HADOOP_HOME/etc/hadoop/hadoop-env.sh
  

3. 配置系统环境变量 #

在你的shell配置文件（_{/.bash_profile或}/.zshrc，取决于你用的shell）中添加以下环境变量：

export HADOOP_HOME=/your/hadoop/install/path/hadoop-3.0.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH

添加后执行source ~/.bash_profile（或对应的zshrc文件）使配置生效。

4. 验证原生库加载状态 #

执行以下命令检查原生库是否成功加载：

hadoop checknative

如果输出中hadoop项显示true，说明原生库已经正常加载，警告应该就不会再出现了。

额外提示：如果以上步骤都试过还是不行，可能是Hadoop 3.0.0对MacOS High Sierra的兼容性问题，可以尝试升级Hadoop到3.1.x及以上版本，新版本对Mac环境的支持会更完善。

内容的提问来源于stack exchange，提问作者ZekeXu