能否将含Spark交互代码的Docker镜像提交至EMR Serverless执行？

可以，将包含Spark应用及所有依赖的Docker镜像提交至Spark集群执行完全可行，这种方式能大幅简化依赖管理，避免集群环境与本地开发环境的依赖不一致问题。以下是不同场景下的具体操作方式：

一、AWS EMR Serverless 环境 #

EMR Serverless支持自定义镜像运行Spark作业，操作步骤如下：

1. 确保你的镜像符合EMR Serverless要求：可基于EMR官方提供的Spark基础镜像构建，镜像中需包含Spark应用代码、依赖库，且指定正确的入口类。
2. 将镜像推送到集群可访问的镜像仓库（如Amazon ECR）。
3. 使用AWS CLI提交作业，示例命令如下：

aws emr-serverless start-job-run \
  --application-id <你的EMR Serverless Spark应用ID> \
  --execution-role-arn <具备权限的IAM角色ARN> \
  --job-driver '{
      "sparkSubmit": {
          "entryPoint": "com.yourcompany.YourSparkMainClass",
          "entryPointArguments": ["参数1", "参数2"],
          "sparkSubmitParameters": "--conf spark.executor.instances=2 --conf spark.executor.memory=4G --conf spark.driver.memory=4G"
      }
  }' \
  --configuration-overrides '{
      "imageConfiguration": {
          "imageUri": "123456789012.dkr.ecr.us-east-1.amazonaws.com/org/app:latest"
      }
  }'

二、Spark on Kubernetes 环境 #

如果你的Spark集群部署在Kubernetes上，或使用Spark的K8s模式提交作业，操作如下：

1. 将镜像推送到K8s集群可访问的镜像仓库（如Harbor、Docker Hub、ECR）。
2. 使用spark-submit命令提交作业，指定自定义镜像：

spark-submit \
  --master k8s://https://<K8s集群API服务器地址>:6443 \
  --deploy-mode cluster \
  --name your-spark-application \
  --class com.yourcompany.YourSparkMainClass \
  --conf spark.kubernetes.container.image=org/app:latest \
  --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark-service-account \
  local:///opt/spark/app/your-app.jar

注：如果你的Docker镜像中已内置应用Jar包，local://后需填写Jar包在镜像内的绝对路径。

关键注意事项 #

• 镜像仓库权限：确保集群节点或服务账号具备拉取镜像的权限（如ECR的IAM权限、K8s的ImagePullSecret）。
• 镜像兼容性：不同Spark集群环境对镜像的基础依赖有要求，比如需包含Java Runtime、Spark客户端依赖等，建议基于对应集群的官方基础镜像进行定制。
• 资源配置：根据作业需求调整Spark的executor内存、实例数等参数，避免资源不足或浪费。

内容的提问来源于stack exchange，提问作者sdgfsdh