Spark集群运行报NoSuchMethodError：SSLConnectionSocketFactory构造方法缺失

这个问题本质是Apache HttpClient版本冲突：你的代码依赖的HttpClient版本包含SSLConnectionSocketFactory(SSLContext, HostnameVerifier)构造方法，但集群环境中加载了更低版本的HttpClient（比如4.3及以下），该版本不存在这个构造方法，因此抛出NoSuchMethodError。

从异常栈能看到，AWS SDK的SdkTLSSocketFactory初始化时调用了这个构造方法，说明你的项目通过依赖传递引入了AWS SDK，而它依赖的HttpClient版本和集群自带版本不匹配。

具体解决方案 #

1. 显式指定兼容的HttpClient版本

在你的SBT配置中添加HttpClient依赖，强制使用和AWS SDK兼容的版本（推荐4.5.x系列，比如4.5.13），确保打包时正确版本被包含：

libraryDependencies ++= Seq(
  // 保留你现有所有依赖，新增以下两行
  "org.apache.httpcomponents" % "httpclient" % "4.5.13",
  "org.apache.httpcomponents" % "httpcore" % "4.4.15"
)

2. 调整Assembly合并策略

确保打包时优先保留我们指定的HttpClient类，避免和集群旧版本冲突，在assemblyMergeStrategy中添加：

case PathList("org", "apache", "http", xs @ _*) => MergeStrategy.first

3. 排除Spark依赖中的旧版HttpClient

Spark的spark-core可能依赖了旧版HttpClient，需要在Spark依赖中排除它，避免传递依赖冲突：

"org.apache.spark" %% "spark-core" % sparkVersion % "provided" exclude("org.apache.httpcomponents", "httpclient"),
"org.apache.spark" %% "spark-mllib" % sparkVersion % "provided" exclude("org.apache.httpcomponents", "httpclient")

额外注意

检查项目根目录下的lib文件夹，如果里面有手动添加的HttpClient相关Jar包（比如httpclient-*.jar、httpcore-*.jar），请移除它们，让SBT管理的依赖优先生效，避免版本冲突。

验证步骤 #

• 重新打包后，执行jar tf your-assembly.jar | grep org/apache/http/conn/ssl/SSLConnectionSocketFactory，确认正确的类已被打包
• 集群运行时可添加JVM参数-verbose:class，查看类加载来源，确认加载的是你指定的HttpClient版本

内容的提问来源于stack exchange，提问作者Markus