Databricks 12.2 LTS写入Azure CosmosDB时出现类转换异常求助

问题原因分析 #

你遇到的com.azure.cosmos.spark.CosmosClientMetadataCachesSnapshots cannot be cast to com.azure.cosmos.spark.CosmosClientMetadataCachesSnapshots错误是典型的类加载器冲突：同一个类被两个不同的类加载器（通常是Driver与Executor的类加载器，或是内置依赖与手动引入依赖的类加载器）加载，导致JVM判定它们为不同类型，即便全限定类名完全一致。

在Databricks 12.2 LTS环境中，冲突的常见诱因：

• 该Runtime版本已内置兼容的Cosmos Spark连接器，但你通过spark.jars.packages手动引入了另一版本的连接器，两者产生依赖冲突
• 集群挂载了重复的Cosmos连接器JAR包，导致节点间加载的类版本不一致

解决步骤 #

1. 移除手动指定的连接器依赖，使用内置版本 #

Databricks Runtime 12.2 LTS预装了适配Spark 3.3.2/Scala 2.12的Cosmos Spark连接器，无需手动引入。删除Spark配置中的以下内容：

spark.jars.packages com.azure.cosmos.spark:azure-cosmos-spark_3-3_2-12:4.30.0

同时检查集群的库列表，移除任何手动添加的Cosmos连接器JAR。

2. 若需自定义版本，排除内置冲突依赖 #

如果必须使用特定版本的连接器，需先确认版本与Runtime完全兼容，再添加排除规则避免冲突：

spark.jars.excludes com.azure.cosmos.spark:azure-cosmos-spark_3-3_2-12

确保spark.jars.packages指定的版本适配Spark 3.3.2和Scala 2.12。

3. 清理缓存并重启集群 #

• 删除集群的临时依赖缓存（Databricks会自动清理，但重启集群可确保彻底生效）
• 重启集群，保证所有Driver和Executor节点加载一致的依赖包

4. 临时关闭吞吐量控制验证（可选） #

暂时注释掉吞吐量控制相关配置，验证是否是该模块引发的类加载问题：

# 注释以下配置
# spark.conf.set("spark.cosmos.throughputControl.globalControl.database", database_name)
# spark.conf.set("spark.cosmos.throughputControl.enabled", "true")
# spark.conf.set("spark.cosmos.throughputControl.name", "SourceContainerThroughputControl")
# spark.conf.set("spark.cosmos.throughputControl.targetThroughputThreshold", "0.95")

若关闭后错误消失，说明该模块的类加载存在冲突，需确保使用的连接器版本包含完整的吞吐量控制组件。

验证方法 #

修改配置后重新执行写入任务，若ClassCastException不再出现，即可确认问题源于类加载冲突。

内容的提问来源于stack exchange，提问作者BeGreen