使用sbt-assembly打包依赖不全，无法在spark-shell中导入所需库

1. 检查依赖Scope配置 #

sbt-assembly默认不会打包provided scope的依赖——这类依赖被标记为“由运行环境提供”（比如Spark自身的核心依赖）。如果你的目标是打包所有依赖，确保你的libraryDependencies里没有不必要的provided标记：

// 正确：默认compile scope，会被打包
libraryDependencies += "org.example" % "some-library" % "1.0.0"

// 错误：provided scope不会被打包，除非你明确不需要它
// libraryDependencies += "org.example" % "some-library" % "1.0.0" % "provided"

2. 排查assembly合并策略 #

如果依赖仍未被打包，检查你的assemblyMergeStrategy配置是否意外排除了某些模块。比如不要写类似排除整个依赖路径的规则：

assemblyMergeStrategy in assembly := {
  // 常规配置：丢弃META-INF下的冲突文件，不影响依赖本身
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  // 不要添加这类规则：会排除指定路径的所有文件
  // case PathList("com", "example", xs @ _*) => MergeStrategy.discard
  case x => MergeStrategy.first
}

3. 强制包含Provided依赖（如果需要） #

如果你确实需要打包provided scope的依赖（比如非Spark相关的第三方库），可以修改assembly的classpath配置，将provided依赖加入打包范围：

fullClasspath in assembly ++= (dependencyClasspath in Provided).value

4. 验证打包结果 #

打包完成后，用以下命令检查特定依赖是否存在：

jar tvf your-assembly.jar | grep "目标依赖的包名"
# 示例：检查Gson是否被打包
jar tvf my-app.jar | grep "com.google.gson"

如果有输出，说明该依赖已成功打包。

5. Spark Shell使用注意事项 #

用spark-shell --jar your-assembly.jar启动后：

• 避免与Spark内置依赖版本冲突：如果你的jar包含Spark核心依赖，可能引发版本问题，这类依赖建议保留provided scope。
• 直接通过完整包名导入类即可，比如import com.google.gson.Gson。

内容的提问来源于stack exchange，提问作者Anurag Gupta