Amazon EMR提交Spark作业报错：找不到IAMClientCallbackHandler类

问题原因 #

报错提示software.amazon.msk.auth.iam.IAMClientCallbackHandler类找不到，是因为你的Spark项目未引入AWS MSK IAM认证的核心依赖库，EMR集群默认也不包含该库。

解决方案 #

1. 添加AWS MSK IAM认证依赖到build.sbt #

在libraryDependencies序列中添加MSK IAM认证依赖：

libraryDependencies ++= Seq(
  // 原有依赖...
  "software.amazon.msk" % "aws-msk-iam-auth" % "2.1.0" // 适配Spark 3.3.1对应的Kafka 2.8.1客户端
)

注意：若后续升级Spark/Kafka版本，需选择与Kafka客户端版本匹配的aws-msk-iam-auth版本（可参考AWS官方文档的版本兼容矩阵）。

2. 重新打包应用 #

执行sbt assembly命令生成包含所有依赖的胖Jar包，确保MSK IAM认证相关类被打包进最终的Jar文件中。

3. 提交Spark应用 #

使用生成的胖Jar包提交到EMR，示例命令：

spark-submit --com.your.package.MainClass --master yarn --deploy-mode cluster ./your-assembly.jar

可选替代方案 #

若不想打包依赖到胖Jar，可在提交时通过--packages参数动态拉取依赖（需确保EMR集群能访问Maven仓库）：

spark-submit --com.your.package.MainClass --master yarn --deploy-mode cluster --packages software.amazon.msk:aws-msk-iam-auth:2.1.0 ./your-app.jar

额外检查 #

确保EMR集群使用的IAM角色拥有以下MSK相关权限：

• kafka:DescribeCluster
• kafka:WriteData
• kafka:Connect

内容的提问来源于stack exchange，提问作者Hongbo Miao