使用Bitnami镜像在Docker部署Spark报JAVA_HOME未设置错误如何解决

核心结论 #

需要在运行Python脚本的应用容器中安装Java并配置JAVA_HOME，无需修改Spark容器的配置。

原因说明 #

你当前使用的是client部署模式，该模式下Spark Driver进程直接运行在发起请求的Python应用所在的容器中。pyspark依赖本地Java环境启动网关进程与远端Spark集群通信，因此报错的Java缺失问题出在应用容器侧。bitnami提供的Spark镜像本身已经内置完整Java运行环境，无需额外调整。

具体改造步骤 #

1. 修改应用容器的Dockerfile，添加Java安装逻辑 #

根据你的应用基础镜像类型选择对应配置：

• 若基础镜像为Debian/Ubuntu系列：

# 安装与Spark 2.x兼容的OpenJDK 8
RUN apt-get update && apt-get install -y openjdk-8-jdk-headless && rm -rf /var/lib/apt/lists/*
# 配置JAVA_HOME环境变量
ENV JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
ENV PATH=$PATH:$JAVA_HOME/bin

• 若基础镜像为Alpine系列：

# 安装OpenJDK 8
RUN apk add --no-cache openjdk8-jre
# 配置JAVA_HOME环境变量
ENV JAVA_HOME=/usr/lib/jvm/java-1.8-openjdk
ENV PATH=$PATH:$JAVA_HOME/bin

2. 修正docker-compose网络配置 #

你当前的应用容器和Spark集群分属不同网络，无法互通，需要将应用容器加入Spark集群的网络，同时配置正确的环境变量：

app:
  build:
    context: ./
  depends_on: 
    - kafka
    - spark-master
  ports:
    - 5000:5000
  container_name: app
  networks: 
    - rmoff_kafka
    - spark # 新增此行，加入Spark集群所在网络
  environment:
    - SPARK_MASTER_URL=spark://spark:7077
    - SPARK_DRIVER_HOST=app # 填写应用容器的服务名，供Spark master回调Driver

3. 修正SparkConf错误配置 #

你原代码中spark.driver.host的默认值错误填写了local[*]（该值为spark.master的可选配置，不能用于driver host配置），修改为：

("spark.driver.host", os.environ.get("SPARK_DRIVER_HOST", "app")),

内容的提问来源于stack exchange，提问作者Tavis