Synapse Spark Scala作业用托管身份操作EventHub遇类加载错误求助

错误原因分析 #

报错java.lang.IllegalAccessError本质是类加载器隔离导致的依赖冲突：

• azure-identity依赖com.microsoft.aad:msal4j库，你虽未直接声明，但该依赖会被自动引入
• Azure Synapse Spark环境中可能已预装了某个版本的MSAL4J，它被Spark的MutableURLClassLoader加载，而你项目引入的MSAL4J类被应用类加载器加载
• 不同类加载器加载的同类无法互相访问，触发权限错误

解决方案 #

1. 统一MSAL4J依赖版本 #

先排查当前azure-identity依赖的MSAL4J具体版本：

./gradlew dependencyInsight --dependency com.microsoft.aad:msal4j

然后在build.gradle中强制指定该版本，避免环境中的旧版本干扰：

dependencies {
    implementation "com.azure:azure-messaging-eventhubs:5.20.2"
    implementation "com.azure:azure-identity:1.15.4"
    // 替换为dependencyInsight查到的版本，强制统一依赖
    implementation "com.microsoft.aad:msal4j:1.24.0"
}

2. 使用Spark原生Event Hub连接器（推荐） #

直接调用Azure SDK的ProducerClient在Spark集群环境中易出现类加载问题，更适配的方案是使用Spark官方的Azure Event Hub连接器，它针对Spark集群优化，原生支持托管身份认证：

依赖配置

提交Spark作业时通过--packages指定适配Spark 3.4的连接器版本：

spark-submit --packages com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.22 ...

或在build.gradle中添加：

implementation "com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.22"

示例代码（托管身份认证）

import org.apache.spark.sql.functions._
import com.microsoft.azure.eventhubs._

def sendMessageToEventHub(json: String, eventHubNamespace: String, eventHubName: String): Unit = {
    val eventHubConf = EventHubsConf(s"Endpoint=sb://${eventHubNamespace}.servicebus.windows.net/;EntityPath=${eventHubName}")
      .setAuthentication(AuthenticationType.MANAGED_IDENTITY)

    // 构建DataFrame写入Event Hub
    val df = spark.createDataFrame(Seq(json)).toDF("body")
    df.select(to_json(struct("body")).alias("body"))
      .write
      .format("eventhubs")
      .options(eventHubConf.toMap)
      .save()
}

3. 调整Spark类加载策略（不推荐直接用userClassPathFirst） #

避免使用spark.driver.userClassPathFirst=true和spark.executor.userClassPathFirst=true（会破坏Spark自身依赖链），改用以下配置让Spark优先加载你的依赖：

--conf spark.driver.extraClassPath=/path/to/your/jars/azure-messaging-eventhubs-5.20.2.jar:/path/to/your/jars/azure-identity-1.15.4.jar:/path/to/your/jars/msal4j-1.24.0.jar
--conf spark.executor.extraClassPath=/path/to/your/jars/azure-messaging-eventhubs-5.20.2.jar:/path/to/your/jars/azure-identity-1.15.4.jar:/path/to/your/jars/msal4j-1.24.0.jar

也可将依赖打包成fat jar，但需排除Spark自带的公共依赖（如slf4j、guava等）。

关键注意事项 #

• Azure Synapse Spark预装了部分Azure SDK库，手动引入依赖时务必核对版本兼容性
• 需确保Synapse Spark池的托管身份拥有Event Hub的Azure Event Hubs Data Sender权限
• 优先使用Spark原生连接器，而非直接调用Azure SDK客户端，可大幅降低类加载冲突风险

内容的提问来源于stack exchange，提问作者Bill Kelly