Hadoop启动Datanode失败求助：Datanode无法启动但NameNode正常

错误原因分析 #

启动HDFS时NameNode正常运行，但worker1、worker2节点的DataNode无法启动，错误提示/home/hadoop-master/my-hadoop-install/hadoop-3.3.4/bin/hdfs: No such file or directory，说明worker节点上不存在该Hadoop安装路径，或路径配置错误。

解决步骤 #

• 检查worker节点Hadoop安装路径
  分别登录worker1和worker2节点，执行以下命令确认路径是否存在：

  ls -l /home/hadoop-master/my-hadoop-install/hadoop-3.3.4/bin/
  

  如果路径不存在，说明worker节点未安装Hadoop，或安装路径与NameNode不一致。

• 同步Hadoop安装目录到worker节点
  在NameNode节点上，使用scp命令将本地Hadoop完整目录同步到worker节点：

  # 同步到worker1
  scp -r /home/hadoop-master/my-hadoop-install/hadoop-3.3.4 hadoop@worker1:/home/hadoop-master/my-hadoop-install/
  # 同步到worker2
  scp -r /home/hadoop-master/my-hadoop-install/hadoop-3.3.4 hadoop@worker2:/home/hadoop-master/my-hadoop-install/
  

  同步完成后再次检查worker节点的路径是否存在。

• 验证worker节点环境变量配置
  登录worker节点，编辑~/.bashrc文件，确认Hadoop相关环境变量配置正确：

  export HADOOP_HOME=/home/hadoop-master/my-hadoop-install/hadoop-3.3.4
  export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  

  执行以下命令使配置生效，并验证hdfs命令是否可正常调用：

  source ~/.bashrc
  hdfs version
  

• 确认SSH免密登录有效性
  在NameNode节点执行以下命令，确保能无密码登录worker节点：

  ssh worker1
  ssh worker2
  

  若需要输入密码，需重新配置SSH免密登录，避免执行远程命令时出现权限或路径解析问题。

内容的提问来源于stack exchange，提问作者Radwa Ahmed