在Docker镜像中使用spark-submit提交PySpark任务可否在EC2/EMR运行？

1. 容器化的PySpark脚本能否直接在Docker容器内执行 #

可以，前提是你的Docker镜像包含以下必备依赖：

• Java 8/11（Spark核心依赖）
• 匹配版本的Spark SDK、PySpark依赖
• 若使用YARN作为资源管理器，还需预装Hadoop客户端及对应YARN集群的配置文件

2. 你提供的Dockerfile合法性校验 #

你给出的Dockerfile片段存在3个明显问题，属于无效配置：

• 缺失必填的FROM基础镜像声明：这是Dockerfile首行必须指定的配置，你可以直接使用官方Spark Python镜像作为基础，避免手动安装Spark、Java环境，示例：FROM apache/spark-py:3.5.0
• CMD指令存在语法错误：--deploy-mode cluster--num-executors中cluster和--num-executors之间缺少空格，会导致命令解析失败
• CMD行不支持//格式的注释：Dockerfile的注释必须单独起行，以#开头

修正后的Dockerfile示例：

# 官方Spark Python基础镜像，已预装Java、Spark、PySpark
FROM apache/spark-py:3.5.0

WORKDIR /app
# 切换到root权限安装依赖，官方spark镜像默认用户是spark
USER root
COPY . .
RUN pip3 install -r requirements.txt
# 修正语法错误后的CMD指令
CMD spark-submit --master yarn --deploy-mode cluster --num-executors 2 my_spark_script.py

3. 构建、运行命令的可用性说明 #

你使用的docker build -t my_docker_image .命令本身是合法的，只要当前执行目录下存在完整的Dockerfile、requirements.txt、my_spark_script.py即可正常构建镜像。

docker run -d my_docker_image在不同环境的运行情况如下：

AWS EC2环境 #

• 如果你跑的是Spark Local模式，只要镜像配置正确就能直接运行
• 如果你要连接外部YARN集群，需要提前把YARN的配置文件（core-site.xml、yarn-site.xml等）打包进镜像，或者运行时挂载EC2上的配置目录，同时确保EC2的网络、权限（如有Kerberos认证需额外配置）能正常访问YARN集群即可正常运行
• Docker的CMD指令就是容器启动时默认执行的命令，和EC2本身没有特殊交互逻辑，只要容器内部的依赖、配置正确就能正常触发spark-submit

AWS EMR环境 #

• 如果你在EMR主节点上直接运行容器，只要把EMR自带的Hadoop配置目录挂载到容器内，就能正常连接EMR的YARN集群，修改后的运行命令示例：docker run -d -v /etc/hadoop:/etc/hadoop my_docker_image，不需要自己打包YARN配置
• 如果你使用EMR on EKS服务，你构建的镜像可以直接作为作业镜像提交，CMD指令可以在提交作业时按需覆盖
• 需要注意：你指定了--deploy-mode cluster，YARN会把Executor调度到EMR的工作节点上，如果你的PySpark脚本有自定义依赖，需要确保Executor节点也能获取到对应的依赖包，或者使用镜像作为Executor运行环境

内容的提问来源于stack exchange，提问作者tomiyos654