Spark依赖配置：何时用libraryDependencies无provided，何时用--packages？

一、直接将依赖加入 libraryDependencies（不设 provided） #

• 依赖非Spark生态的第三方库：比如自定义业务工具类、小众数据库驱动、业务专属SDK等，这类库Spark集群未预装，且不会和Spark核心组件产生类冲突。
• 依赖版本与集群环境完全兼容：你能确保本地开发的Scala、Spark版本和目标集群完全一致，打包后不会出现版本不匹配或类重复问题。
• 需要构建独立可执行胖包：比如用sbt assembly打包成单一JAR，方便在不同环境快速部署，无需每次提交都拉取依赖。

二、使用 spark-submit --packages 参数 #

• 依赖Spark生态扩展组件：比如spark-sql-kafka-0-10、spark-avro这类官方或第三方Spark连接器：
  • 这类组件和Spark核心版本绑定极强，直接打包易因版本不匹配、类重复（Spark核心已包含部分依赖）引发冲突，就像你遇到的assembly类去重问题。
  • 集群未预装这类扩展组件时，--packages会自动从Maven仓库拉取对应版本的依赖，且Spark会自动处理类加载隔离，规避冲突。
• 需适配多版本Spark集群：如果你的应用要在多个不同Spark版本的集群运行，--packages能让Spark自动拉取对应集群版本的兼容依赖，无需重新打包。
• 控制胖包体积：部分依赖体积较大，加入胖包会导致JAR臃肿，用--packages可在提交时按需拉取，减少包的大小。

三、补充：什么时候用 provided？ #

仅适用于Spark核心自带的组件，比如spark-core、spark-sql本身——这些组件已存在于Spark集群的classpath中，设为provided可避免打包时重复加入，减少胖包体积，同时避免类冲突。注意：spark-sql-kafka-0-10这类扩展组件不属于Spark核心默认预装内容，不能设为provided，除非你已在集群所有节点手动部署了该组件。

内容的提问来源于stack exchange，提问作者Hongbo Miao