Java Spark Maven项目：如何确定pom.xml中需排除的artifactSet？

1. 识别编译/运行时未使用的依赖Jar #

• 用Maven Dependency Plugin分析：执行mvn dependency:analyze，命令会输出两类结果：Used undeclared dependencies（代码用到但POM未声明的依赖）和Unused declared dependencies（POM声明但代码未用到的依赖）。注意这是编译期分析，运行时动态加载的依赖可能没覆盖到，需要结合运行测试验证。
• 用JDK自带的JDeps工具：执行jdeps -s your-uber.jar可以快速查看Jar依赖的模块和类，对比项目代码逻辑判断哪些依赖是冗余的。
• 用ProGuard做静态分析：它能深入扫描代码调用链，找出运行时真正未被使用的类和依赖，不过需要配置Spark相关的保留规则（比如序列化类、Spark入口类），防止误删必要组件。

2. 区分需打包依赖与provided依赖 #

• provided依赖定义：运行环境已提供的依赖，无需打包到Uber Jar中，避免重复打包导致体积增大。
• 核心判断规则：
  • Spark集群环境自带的核心依赖（如spark-core、spark-sql）必须设为provided，因为集群节点的Spark安装包已包含这些Jar；但本地调试时需移除provided标记，否则会出现类找不到的错误。
  • 运行环境自带的基础组件：比如Hadoop相关依赖、javax.servlet类库（如果部署在已包含该类库的容器中），都可以标记为provided。
  • 参考Spark官方文档：官方明确列出了哪些依赖需要设置为provided，遵循文档能避免错误。

3. 精准确定依赖排除列表，避免盲目试错 #

Maven引入2000个Jar是依赖传递性导致的——比如Spark核心依赖会带出大量Hadoop、日志、第三方工具库等传递依赖。可以通过以下步骤筛选必需依赖：

• 先梳理依赖树：执行mvn dependency:tree，把所有依赖的层级关系打印出来，定位哪些顶级依赖带出了大量冗余传递依赖（比如Hadoop相关依赖，如果你的项目不需要HDFS操作，就可以批量排除）。
• 结合依赖分析工具结果：用mvn dependency:analyze输出的Unused declared dependencies作为初始排除列表，再逐一验证这些依赖是否真的未被代码调用。
• 用Shade插件的include替代exclude：与其逐个排除不需要的依赖，不如明确指定需要打包的依赖（通过maven-shade-plugin的artifactSet中的includes），这样更精准，能直接过滤掉所有未被声明为必需的传递依赖。
• Spark场景常见可排除项：
  • 日志冗余库：如果项目统一用SLF4J+Logback，可排除Spark自带的log4j、commons-logging等依赖。
  • Hadoop相关：无需Hadoop集成时，排除org.apache.hadoop:*。
  • 特定平台/工具库：比如bouncycastle加密库（未用到加密功能时）、AppleJavaExtensions（非Mac环境）、jsr305注解库等。
• 减少试错的技巧：
  • 按功能模块分批排除：先排除和项目核心功能无关的模块（如加密、Hadoop），再逐步细化。
  • 先本地测试：排除依赖后先在本地运行项目，验证功能正常后再部署到集群，降低调试成本。
  • 用ProGuard裁剪：配置ProGuard规则，让它自动移除未被使用的类和依赖，同时保留Spark运行必需的类（如实现Serializable的类、Spark作业入口类）。

内容的提问来源于stack exchange，提问作者Nila