运行jps命令无datanode进程但启停脚本提示正常该如何解决

排查与解决步骤 #

你当前提供的.out日志仅记录进程启动时的系统资源限制参数，无业务错误信息；NativeCodeLoader警告属于本地库适配问题，不会导致datanode进程退出，无需优先处理。按以下步骤排查即可：

• 首先验证datanode进程是否真实存在
  执行ps -ef | grep datanode命令查看进程：
  • 若能查到进程，说明jps未显示是因为执行jps的用户和datanode启动用户不一致，jps默认仅展示当前用户的Java进程，切换到启动hadoop的用户或者root用户执行jps即可看到datanode
  • 若查不到进程，说明datanode启动后立刻崩溃，继续往下排查
• 查看datanode错误日志
  找到$HADOOP_HOME/logs/路径下后缀为.log的datanode日志文件（不是你贴的.out后缀文件），搜索ERROR级别的日志，对应常见问题处理：
  • 集群ID不匹配：多次格式化namenode会导致namenode和datanode的clusterID不一致，删除hdfs-site.xml中dfs.datanode.data.dir配置的目录下的current文件夹，重启集群即可
  • 端口占用：datanode默认占用9866、9864端口，执行netstat -tunlp | grep 9866确认端口是否被其他进程占用，修改端口或者杀掉占用进程即可
  • 目录权限不足：datanode数据目录没有给启动用户读写权限，执行以下命令修复权限：

    chmod -R 755 [你的datanode数据目录路径]
    chown -R [hadoop启动用户名]:[对应用户组] [你的datanode数据目录路径]
    

内容的提问来源于stack exchange，提问作者moazmahmoud saad