在EMR上使用Docker运行Python Spark任务时环境不生效求助

看起来你遇到的核心问题是EMR没有正确启用Docker容器运行时，导致Spark作业实际使用了集群节点本地的Python环境，而非你构建的Docker镜像内的环境。下面分点解释原因和修复步骤：

一、Spark Submit配置的关键错误 #

你的spark-submit命令把YARN Docker运行时的配置放在了spark.executorEnv和spark.yarn.appMasterEnv下，这是错误的——这些配置是传递给容器内部的环境变量，而YARN本身的容器运行时配置需要直接设置在spark.yarn命名空间下。

修正后的Spark Submit命令 #

spark-submit \
    --master yarn \
    --deploy-mode cluster \
    --conf spark.yarn.containerLauncherDelegate=DockerContainerLauncher \
    --conf spark.yarn.appMasterEnv.YARN_CONTAINER_RUNTIME_TYPE=docker \
    --conf spark.yarn.appMasterEnv.YARN_CONTAINER_RUNTIME_DOCKER_IMAGE=$DOCKER_IMAGE_NAME \
    --conf spark.executorEnv.YARN_CONTAINER_RUNTIME_TYPE=docker \
    --conf spark.executorEnv.YARN_CONTAINER_RUNTIME_DOCKER_IMAGE=$DOCKER_IMAGE_NAME \
    --conf spark.yarn.docker.image.pullPolicy=ALWAYS \
    --num-executors 2 \
    main.py -v

关键新增/调整的配置：

• spark.yarn.containerLauncherDelegate=DockerContainerLauncher：强制YARN使用Docker容器启动器，这是EMR启用Docker运行时的核心开关
• spark.yarn.docker.image.pullPolicy=ALWAYS：确保每次拉取最新的镜像（可选，但调试阶段很有用）

二、Dockerfile的语法与环境优化 #

你的Dockerfile有几处小问题，可能导致镜像构建失败或环境异常：

修正后的Dockerfile #

FROM amazoncorretto:8

# 更新系统并安装依赖
RUN yum -y update && \
    yum -y install yum-utils && \
    yum -y groupinstall development && \
    yum -y install python3 python3-dev python3-pip python3-virtualenv

# 验证Python版本（修复原有的语法错误）
RUN python3 -V

# 设置PySpark使用的Python版本
ENV PYSPARK_DRIVER_PYTHON python3
ENV PYSPARK_PYTHON python3
ENV PYSPARK_SUBMIT_ARGS "--master yarn pyspark-shell"

# 升级pip并安装依赖
RUN pip3 install --upgrade pip && \
    pip3 install numpy pandas

# 提前验证依赖安装成功
RUN python3 -c "import numpy as np; import pandas as pd; print('Dependencies installed successfully')"

修复点：

• 把多个RUN命令合并成一个，减少镜像层数
• 修复了原有的RUN python -VRUN python3 -V语法错误（少了换行）
• 添加了PYSPARK_SUBMIT_ARGS环境变量，确保PySpark在容器内正确识别YARN配置
• 增加了依赖安装后的验证步骤，提前确认numpy和pandas能正常导入

三、额外的验证与调试步骤 #

1. 确认镜像已推送到EMR集群可访问的仓库：确保$DOCKER_IMAGE_NAME对应的镜像已经上传到ECR或者集群能拉取到的镜像仓库，EMR节点需要有拉取该镜像的权限。
2. 查看YARN日志：作业提交后，通过EMR控制台或yarn logs -applicationId <app-id>查看AppMaster和Executor的日志，检查是否有Docker镜像拉取失败、容器启动异常的报错信息。
3. 验证容器内环境：可以在集群节点上手动运行docker run -it $DOCKER_IMAGE_NAME bash，进入容器后执行python3 -V和pip3 list，确认Python版本和依赖是否符合预期。

内容的提问来源于stack exchange，提问作者Karan Pratap Singh