如何使用Docker与PySpark实现应用容器化及集群运行？

1. 能否直接将封装好应用的镜像提交给Spark集群？ #

Spark 2.3及以上版本原生支持Kubernetes作为集群管理器，该场景下可以直接使用自定义容器镜像提交任务，需满足两个前提：

• 你使用的Spark集群基于Kubernetes部署，或提交任务时指定集群管理器为Kubernetes；如果是Spark standalone、YARN模式，无法直接提交应用镜像到集群，需要配合额外的镜像分发机制。
• 自定义镜像需符合Spark镜像规范，建议基于官方Spark基础镜像构建，仅在之上安装Python依赖、打包业务代码即可，不能缺失Spark运行的必要组件。

2. 集群能否自动分发镜像、分配任务到多个容器实例运行？ #

分两种场景：

• Kubernetes模式Spark集群：可以实现你需要的能力。提交任务时指定自定义镜像的可访问地址（若存放在私有镜像仓库需提前配置好拉取密钥，保证集群所有节点有权限拉取），Kubernetes会自动将镜像拉取到需要运行任务的工作节点，同时Spark会根据你配置的executor数量自动启动对应数量的容器实例执行计算任务，天然实现环境隔离。
• standalone/YARN模式Spark集群：集群本身没有自动分发自定义应用镜像的能力，需要你提前将镜像同步到所有工作节点，或是配合YARN的Docker容器化能力实现，配置复杂度远高于Kubernetes模式。

如果是Kubernetes模式，你可以参考以下spark-submit命令提交任务：

spark-submit \
    --master k8s://https://<你的K8sAPIServer地址>:6443 \
    --deploy-mode cluster \
    --name pyspark-demo \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.container.image=你的自定义镜像地址:版本标签 \
    --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
    local:///opt/spark/work-dir/你的业务脚本.py

注意：命令中的local://前缀指向镜像内部的文件路径，不是提交任务的本地机器路径，脚本需要提前打包到镜像内。

内容的提问来源于stack exchange，提问作者bAN