Scala Spark连接Azure CosmosDB时SBT依赖冲突问题求助

嘿，我来帮你搞定这个Spark与Azure CosmosDB连接器的依赖冲突问题！

你的核心困境在于：Spark核心依赖和CosmosDB Spark连接器自带的Spark依赖版本冲突，但移除Spark依赖后本地编译又找不到SparkSession类。问题出在Spark依赖的作用域配置不对，下面是具体的解决方案：

正确的SBT配置方案 #

给Spark核心依赖加上provided作用域——这个作用域会告诉SBT：编译和测试阶段需要这些依赖的API，但打包时不要把它们包含进去（因为Spark集群运行时会自带这些库），完美解决冲突和编译报错的矛盾。

同时要注意CosmosDB Spark连接器的版本必须和你的Spark版本匹配（Spark 2.3.0对应连接器版本建议用1.3.5），完整配置如下：

name := "MyApp"
version := "1.0"
scalaVersion := "2.11.8"

libraryDependencies ++= Seq(
  // Spark核心依赖，用Provided作用域避免冲突
  "org.apache.spark" % "spark-core_2.11" % "2.3.0" % Provided,
  "org.apache.spark" % "spark-sql_2.11" % "2.3.0" % Provided,
  // Azure CosmosDB Spark连接器，版本与Spark 2.3.0兼容
  "com.microsoft.azure" % "azure-cosmosdb-spark_2.11" % "1.3.5"
)

关键原理说明 #

• Provided作用域既满足了本地编译对SparkSession等类的依赖需求，又不会把Spark核心库打包到最终Jar包中，从根源上避免了和CosmosDB连接器自带的Spark依赖版本冲突。
• 版本匹配是重中之重：Spark 2.3.x系列必须搭配1.3.x版本的CosmosDB Spark连接器，版本不兼容也会引发各类依赖解析异常。

IDE开发额外提示 #

如果用IntelliJ等本地IDE开发，可能需要手动开启provided依赖的导入：在IDE的SBT设置里勾选“Include dependencies with 'Provided' scope”选项，避免IDE标红报错。

内容的提问来源于stack exchange，提问作者Tom