EMR Serverless Airflow Operator无法使用自定义镜像的问题求助

核心问题分析 #

你遇到的报错有两个关键原因：

1. EMR版本不支持自定义镜像：EMR 6.9.0本身不支持Spark任务的自定义镜像功能，该特性从EMR 6.10.0才开始引入。
2. Airflow Operator参数传递错误：即使版本支持，你也不该把imageConfiguration放在config字典里，正确的参数传递方式需要匹配Airflow Provider的版本规范。

解决方案一：升级EMR版本并正确配置自定义镜像 #

这是最可靠的方案，步骤如下：

1. 升级EMR Serverless版本：将release_label改为emr-6.10.0或更高版本（比如最新的emr-6.15.0）。
2. 调整Airflow Operator参数：
   如果你使用的是apache-airflow-providers-amazon >= 6.0.0版本，Operator提供了单独的image_configuration参数，直接传入即可：

   create_app = EmrServerlessCreateApplicationOperator(
       task_id="create_my_app",
       job_type="SPARK",
       release_label="emr-6.10.0",
       name="data-ingestion",
       image_configuration={
           "imageUri": "xxxxxxx.dkr.ecr.eu-west-1.amazonaws.com/emr-custom-image:0.0.1"
       }
   )
   

   若使用旧版本Provider，需要将imageConfiguration放入config，但前提是EMR版本已升级：

   create_app = EmrServerlessCreateApplicationOperator(
       task_id="create_my_app",
       job_type="SPARK",
       release_label="emr-6.10.0",
       config={
           "name": "data-ingestion",
           "imageConfiguration": {
               "imageUri": "xxxxxxx.dkr.ecr.eu-west-1.amazonaws.com/emr-custom-image:0.0.1"
           }
       }
   )
   

3. 确保自定义镜像符合规范：镜像必须基于EMR Serverless官方基础镜像构建（比如public.ecr.aws/emr-serverless/spark/emr-6.10.0:latest），替换Scala为2.13版本，确保Spark运行环境与镜像兼容。

解决方案二：使用Thin Jar + 指定Scala 2.13依赖（替代方案） #

如果暂时无法升级EMR版本，可以尝试以下方案（稳定性略差，需测试兼容性）：

1. 打包Thin Jar：不要构建包含Spark依赖的Fat Jar，只打包你的应用代码，排除所有Spark核心依赖。
2. 提交任务时指定Scala 2.13依赖：在Spark任务的配置中，通过spark.jars.packages指定针对Scala 2.13编译的依赖包，例如：

   submit_job = EmrServerlessStartJobOperator(
       task_id="submit_spark_job",
       application_id="{{ task_instance.xcom_pull(task_ids='create_my_app') }}",
       execution_role_arn="arn:aws:iam::xxx:role/emr-serverless-role",
       job_driver={
           "sparkSubmit": {
               "entryPoint": "s3://your-bucket/path/to/your-thin.jar",
               "sparkSubmitParameters": "--packages org.apache.spark:spark-sql_2.13:3.3.0 ..."
           }
       }
   )
   

   注意：EMR自带的Spark是基于Scala 2.12编译的，跨版本依赖可能出现兼容性问题，需充分测试。

内容的提问来源于stack exchange，提问作者Oscar Drai