AWS EMR中command-runner.jar与script-runner.jar的作用及使用必要性

用户提供的EMR步骤配置 #

'HadoopJarStep': {
                'Args': [
                    'spark-submit',
                    's3://spark-test-bucket-pr/spark_job/spark_job_3.py'
                ],
                'Jar': 'command-runner.jar'
            }

用户问题 #

我想了解此处command-runner.jar的作用，因为在本地Hadoop集群运行Spark作业时无需使用此类Jar包。此外，在EMR中执行Shell脚本时会使用script-runner.jar，希望有人能解释这两个Jar包的角色，以及为何在EMR集群中执行Spark作业需要它们？

一、command-runner.jar的核心作用 #

• 它是AWS EMR官方提供的通用命令执行桥接Jar，用来适配EMR的步骤调度框架。EMR的HadoopJarStep要求必须传入一个符合Hadoop JarStep规范的Jar包作为执行入口，但spark-submit本身是Shell命令而非Jar包，command-runner.jar就承担了中间转换的角色：它接收你传入的spark-submit命令及参数，在EMR集群的指定节点上启动对应进程，完成Spark作业的执行。
• 本地Hadoop集群不需要它，是因为你直接在节点上通过Shell执行spark-submit，跳过了EMR的统一步骤调度流程。而EMR的所有步骤都要通过集群的资源管理系统（YARN）统一管控，必须以标准Jar包入口触发，才能实现作业的监控、重试、状态上报等功能。

二、script-runner.jar的定位 #

• 它是EMR专属的Shell脚本执行器Jar，作用逻辑和command-runner.jar类似，专门用来处理Shell脚本类的步骤需求。当你需要在EMR步骤中运行自定义Shell脚本（比如环境初始化、数据预处理脚本）时，script-runner.jar会负责加载指定路径（S3或本地）的脚本，执行脚本逻辑，同时完成EMR步骤要求的日志收集、状态反馈等生命周期管理工作。

三、EMR依赖这类Jar包的原因 #

• EMR的步骤执行体系基于Hadoop JarStep机制构建，所有提交的步骤必须以Jar包作为执行入口，才能被集群调度系统统一管理（包括资源分配、运行监控、失败重试、状态追踪等）。spark-submit、Shell脚本这类非Jar形式的执行逻辑无法直接适配该机制，因此AWS封装了这两个Jar包作为中间层，将非Jar执行逻辑转换成符合EMR规范的流程。
• 此外，这类Jar包会自动适配EMR集群的特有环境（比如Spark、Hadoop的安装路径、集群权限、资源配置），确保你的命令或脚本能在EMR的特定环境中正确运行，避免本地与集群环境差异导致的执行问题。

内容的提问来源于stack exchange，提问作者nayak0765