Hadoop端点配置错误求助:Ubuntu环境部署故障排查
问题分析与修复方案
1. 修复hadoop-env.sh语法错误
报错提示export: /usr/local/hadoop/lib/*.jar”': not a valid identifier,根源是**中文引号**和不规范的环境变量追加写法。修改hadoop-env.sh`内容为:
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 export HADOOP_CLASSPATH="$HADOOP_CLASSPATH $HADOOP_HOME/lib/*.jar"
- 将中文双引号
”替换为英文双引号" - 用标准bash语法追加环境变量
2. 修正~/.bashrc的HADOOP_OPTS配置
当前配置存在缺少等号、中文引号两个问题,修改为:
#Hadoop Related Options export HADOOP_HOME=/usr/local/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
执行source ~/.bashrc让配置立即生效。
3. 解决NameNode进程未启动问题
jps无NameNode进程,通常是目录权限不足或格式化残留问题:
- 停止所有Hadoop服务:
stop-all.sh
- 检查并修复namenode目录权限:
sudo chown -R $USER:$USER /home/hadoop/hdfs
- 重新格式化NameNode(注意:此操作会清空HDFS数据,确认无重要数据后执行):
hdfs namenode -format
- 重启Hadoop服务:
start-all.sh
再次执行jps,应能看到NameNode进程。
4. 修复HDFS端点配置错误
Your endpoint configuration is wrong是NameNode未启动导致的连接失败,完成上述步骤后即可自动解决。同时建议更新core-site.xml配置(新版本Hadoop推荐规范):
<configuration> <property> <name>fs.defaultFS</name> <!-- 替代旧版的fs.default.name --> <value>hdfs://localhost:9000</value> <description>The default file system URI</description> </property> </configuration>
验证修复
- 执行
jps确认NameNode、DataNode、ResourceManager、NodeManager、SecondaryNameNode全部启动 - 先创建目标目录(若不存在):
hadoop fs -mkdir -p /hdfs/input
- 测试文件上传:
hadoop fs -put hashtags.txt /hdfs/input
内容的提问来源于stack exchange,提问作者Amol Borkar
相关产品推荐
相关产品推荐

