Databricks使用托管身份消费Event Hub遇authBytes序列化空值异常求助

问题根源 #

你使用的SASL明文（PLAIN）认证机制和托管身份不兼容。SASL PLAIN依赖连接字符串中的密钥信息，而托管身份是通过Azure AD获取OAuth2令牌完成认证，用PLAIN模式会导致认证所需的authBytes为空，触发序列化报错。

解决步骤 #

1. 匹配依赖版本
   确保Databricks集群使用Spark 3.0+版本，同时配套azure-eventhubs-spark包版本不低于2.3.22（对应Scala 2.12）。可在集群库管理中添加对应Maven依赖。

2. 配置AAD认证模式
   放弃SASL PLAIN配置，改用Azure AD托管身份认证，示例代码如下：

   import com.microsoft.azure.eventhubs._
   import com.microsoft.azure.eventhubs.spark._
   import org.apache.spark.sql.streaming.Trigger
   
   // 基础连接字符串（无需包含SAS密钥）
   val ehConnectionString = "Endpoint=sb://<你的命名空间>.servicebus.windows.net/;EntityPath=<你的Event Hub名称>"
   
   // 构建Event Hub配置，启用AAD认证
   val ehConf = EventHubsConf(ehConnectionString)
     .setAuthenticationMode(AuthenticationMode.AAD)
     // 若使用用户分配的托管身份，添加以下配置（系统分配身份可忽略）
     // .setManagedIdentityClientId("<托管身份的Client ID>")
     .setStartingPosition(EventPosition.fromStartOfStream())
   
   // 读取Event Hub流数据
   val streamDF = spark.readStream
     .format("eventhubs")
     .options(ehConf.toMap)
     .load()
   
   // 后续处理逻辑示例
   streamDF.writeStream
     .format("console")
     .trigger(Trigger.ProcessingTime("10 seconds"))
     .start()
     .awaitTermination()
   

   核心配置：将eventhubs.authentication.mode设为AAD，无需手动指定eventhubs.sasl.mechanism，系统会自动使用OAUTHBEARER机制。

3. 验证权限配置
   再次确认托管身份已在Event Hub命名空间或具体Event Hub资源上分配了Azure Event Hubs Data Receiver和Azure Event Hubs Data Sender角色，角色生效可能需要1-5分钟。

4. 排查网络连通性
   确保Databricks集群的网络能访问Event Hub端点，检查是否有防火墙、NSG规则或VNet peering限制了流量。

内容的提问来源于stack exchange，提问作者shravan kumar