AWS EMR Spark自定义Jar无法加载主类问题排查

我懂你碰到的这个问题——这其实不是异常，而是EMR的默认设计行为，不用太担心。EMR用command-runner.jar作为统一的作业执行入口，它会帮你解析传入的参数，再调用你实际的自定义Jar或者执行指定命令。

为什么会出现这种现象？ #

不管是用CLI还是Web控制台创建自定义步骤，EMR都会自动把步骤的主Jar设为command-runner.jar，你指定的自定义Jar路径会被当作参数传给它。这是因为command-runner.jar是EMR的通用执行器，能处理Spark、Hive、Pig等多种类型的作业提交，它会根据参数里的Jar路径来启动对应的作业。

正确的CLI命令写法示例 #

你的原始命令没写完，这里给你补全并调整成正确的格式，确保自定义Spark作业能正常执行：

aws emr create-cluster \
  --name 'emr-test' \
  --applications Name=Spark \
  --release-label emr-5.36.1 \ # 替换成你需要的EMR版本号
  --instance-type m5.xlarge \
  --instance-count 2 \
  --steps Type=Spark,Name="Custom Spark Step",ActionOnFailure=CONTINUE,Args=[--deploy-mode,cluster,--class,com.your.package.YourMainClass,s3://your-bucket/path/to/your-custom.jar,arg1,arg2] \
  --use-default-roles

这里要注意几个关键点：

• Args数组里得先放Spark提交的标准参数，比如--deploy-mode、--class，然后才是你的自定义Jar路径和作业参数
• command-runner.jar会自动处理这些参数，最终调用spark-submit来运行你的自定义Jar

Web控制台的对应逻辑 #

在Web控制台创建步骤时，选“Spark application”类型后，你填的“Jar location”其实会被作为参数传给command-runner.jar，和CLI的逻辑完全一致。你可以去步骤详情里看实际的执行命令，大概是这个样子：

command-runner.jar spark-submit --deploy-mode cluster --class ... s3://your-bucket/your-custom.jar

如果你的作业没正常跑起来，可以检查这几点：

• 自定义Jar的S3路径是不是正确，EMR集群有没有访问这个路径的权限
• --class指定的主类全限定名有没有写错
• 作业参数是不是符合你的程序要求

内容的提问来源于stack exchange，提问作者Charles Green