启动Hadoop服务报错：JAVA_HOME未设置或无法找到

问题核心原因 #

Hadoop的分布式启动脚本（如start-dfs.sh）会通过SSH连接到各个节点（包括本地节点）执行命令，而SSH默认启动的是非交互式shell，不会自动加载全局环境变量或用户shell配置。此外，Hadoop自身的环境变量优先级最高的是hadoop-env.sh文件，而非系统或当前shell的ENV设置，这是导致报错的关键。

具体解决方案 #

1. 修改Hadoop核心配置文件hadoop-env.sh #

这是最关键的一步，Hadoop所有启动脚本都会优先读取该文件中的环境变量。在Dockerfile中添加以下步骤：

RUN echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh
RUN echo "export HADOOP_HOME=$HADOOP_HOME" >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh
RUN echo "export PATH=\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin" >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh

2. 移除冗余的脚本修改 #

之前通过sed在start-dfs.sh和start-yarn.sh开头添加export JAVA_HOME的操作可以移除，因为hadoop-env.sh的配置会被这些脚本自动加载，重复设置反而可能导致冲突。

3. 确保JAVA_HOME路径正确性 #

在构建镜像前，确认OpenJDK安装后的实际路径，可在容器中执行以下命令验证：

ls -l /usr/lib/jvm/
# 需确保输出包含java-8-openjdk-amd64，且该目录下存在bin/java文件

如果路径不一致，需同步修改所有配置中的JAVA_HOME值。

4. 补充SSH免密配置（必加步骤） #

Hadoop启动脚本需要SSH免密登录本地节点，原Dockerfile缺失该配置，需添加：

RUN ssh-keygen -t rsa -f ~/.ssh/id_rsa -N "" && \
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys && \
    chmod 600 ~/.ssh/authorized_keys

5. 简化CMD命令 #

无需在CMD中重复设置JAVA_HOME，简化后的CMD如下：

CMD ["bash", "-c", "service ssh start; $HADOOP_HOME/sbin/start-dfs.sh; $HADOOP_HOME/sbin/start-yarn.sh; while true; do sleep 1000; done"]

修正后的完整Dockerfile示例 #

ENV JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
ENV HADOOP_HOME=/usr/local/hadoop
# 补充缺失的HADOOP_VERSION变量
ENV HADOOP_VERSION=3.3.4

RUN apt-get update && \
    DEBIAN_FRONTEND=noninteractive apt-get install -y \
    openjdk-8-jdk \
    ssh \
    rsync \
    wget \
    vim \
    curl \
    net-tools \
    libzip4 \
    libsnappy1v5 \
    libssl-dev \
    sudo && \
    rm -rf /var/lib/apt/lists/*

# 配置SSH免密登录
RUN ssh-keygen -t rsa -f ~/.ssh/id_rsa -N "" && \
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys && \
    chmod 600 ~/.ssh/authorized_keys

RUN wget https://archive.apache.org/dist/hadoop/common/hadoop-$HADOOP_VERSION/hadoop-$HADOOP_VERSION.tar.gz -P /tmp && \
    tar -xzf /tmp/hadoop-$HADOOP_VERSION.tar.gz -C /usr/local && \
    mv /usr/local/hadoop-$HADOOP_VERSION $HADOOP_HOME && \
    rm /tmp/hadoop-$HADOOP_VERSION.tar.gz && \
    mkdir -p $HADOOP_HOME/logs

# 修改Hadoop环境变量配置
RUN echo "export JAVA_HOME=$JAVA_HOME" >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh
RUN echo "export HADOOP_HOME=$HADOOP_HOME" >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh
RUN echo "export PATH=\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin" >> $HADOOP_HOME/etc/hadoop/hadoop-env.sh

RUN mkdir -p /data/dfs/data /data/dfs/name /data/dfs/namesecondary && \
    $HADOOP_HOME/bin/hdfs namenode -format

CMD ["bash", "-c", "service ssh start; $HADOOP_HOME/sbin/start-dfs.sh; $HADOOP_HOME/sbin/start-yarn.sh; while true; do sleep 1000; done"]

验证方法 #

构建镜像并启动容器后，执行以下命令检查Hadoop服务状态：

# 查看HDFS节点状态
$HADOOP_HOME/bin/hdfs dfsadmin -report
# 查看Hadoop相关进程
jps

如果能看到NameNode、DataNode、ResourceManager等进程，说明服务启动成功。

内容的提问来源于stack exchange，提问作者Felipe