EMR Serverless是否支持Bootstrap action？附EMR集群配置示例

在创建传统EMR集群时，可通过以下AWS CLI命令配置Bootstrap Action：

aws emr create-cluster --name "Test cluster" --release-label emr-7.1.0 
--use-default-roles --ec2-attributes KeyName=myKey 
--applications Name=Hive Name=Pig 
--instance-count 3 --instance-type m5.xlarge 
--bootstrap-actions Path="s3://mybucket/myscriptfolder/copymyfile.sh"

请问EMR Serverless是否提供类似的配置选项？

EMR Serverless没有直接对应传统EMR集群的Bootstrap Action机制，但提供了几种可实现自定义初始化需求的替代方式：

• Setup Scripts（作业级初始化脚本）：这是最接近Bootstrap Action的方案。提交作业时，可指定存储在S3中的自定义脚本，EMR Serverless会在作业启动前的初始化阶段执行脚本，完成安装依赖、配置环境变量、复制文件等操作。通过AWS CLI提交作业的示例如下：

  aws emr-serverless start-job-run \
    --application-id <你的应用ID> \
    --execution-role-arn <你的执行角色ARN> \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://mybucket/my-spark-job.jar",
            "entryPointArguments": ["arg1", "arg2"]
        }
    }' \
    --configuration-overrides '{
        "setupScripts": {
            "scripts": [
                {
                    "path": "s3://mybucket/myscriptfolder/copymyfile.sh",
                    "executionRoleArn": "<脚本执行角色ARN>"
                }
            ]
        }
    }'
  

• 自定义运行时镜像：如果需要复杂的环境定制（比如预安装大量依赖、修改系统配置），可以构建包含自定义环境的Docker镜像，上传到Amazon ECR后，在创建EMR Serverless应用时指定该镜像替代默认运行时镜像，适合重复使用固定环境的场景。

• 应用级配置参数：针对Spark、Hive等框架，可通过configuration-overrides中的applicationConfiguration参数直接设置框架级配置项，比如加载额外JAR包、设置环境变量，实现部分初始化需求。

内容的提问来源于stack exchange，提问作者Partha