Hadoop单节点集群部署遇SSH超时及权限问题求助

一、SSH连接hadoop.tecadmin.com超时处理 #

问题原因 #

Hadoop配置中指定的namenode主机名hadoop.tecadmin.com无法在本地解析，导致SSH连接超时。

解决步骤 #

1. 修改Hadoop核心配置
   编辑/usr/local/hadoop/etc/hadoop/core-site.xml，将fs.defaultFS的值改为hdfs://localhost:9000；
   编辑/usr/local/hadoop/etc/hadoop/hdfs-site.xml，将dfs.namenode.http-address的值改为localhost:50070。

2. 添加本地主机名解析
   用root权限编辑/etc/hosts，添加一行：

   127.0.0.1 hadoop.tecadmin.com
   

   保存后执行ping hadoop.tecadmin.com验证是否能正常解析。

二、日志目录权限不足处理 #

问题原因 #

/usr/local/hadoop/logs目录的所有者不是hadoop用户，导致启动脚本无法创建、写入日志文件。

解决步骤 #

切换到root用户（或用sudo）执行递归修改权限命令：

sudo chown -R hadoop:hadoop /usr/local/hadoop

执行后用ls -ld /usr/local/hadoop/logs验证，确保目录所有者为hadoop:hadoop。

三、配置本地SSH免密登录 #

问题原因 #

启动脚本需要SSH连接本地节点，每次手动确认会中断启动流程，甚至导致失败。

解决步骤 #

1. 切换到hadoop用户，生成SSH密钥对（一路回车接受默认配置）：

   ssh-keygen -t ed25519
   

2. 将公钥添加到本地授权列表：

   cat ~/.ssh/id_ed25519.pub >> ~/.ssh/authorized_keys
   

3. 设置严格的权限（SSH要求，否则会拒绝免密登录）：

   chmod 700 ~/.ssh
   chmod 600 ~/.ssh/authorized_keys
   

4. 验证：执行ssh localhost和ssh 0.0.0.0，确认无需输入密码即可登录。

最终验证流程 #

1. 格式化namenode（首次启动必须执行）：

   hdfs namenode -format
   

2. 启动DFS集群：

   start-dfs.sh
   

3. 检查进程状态：

   jps
   

   正常情况下应显示NameNode、DataNode、SecondaryNameNode三个进程，说明单节点集群启动成功。

内容的提问来源于stack exchange，提问作者lemonofgreen