Spark 2.2.1写入DataFrame至Parquet失败问题求助

先给你吃个定心丸：你定义的Schema里所有类型（LongType、ArrayType(DoubleType)、BooleanType等）都是Spark 2.2.1原生支持Parquet存储的，所以类型不支持这个怀疑可以排除。这个NoSuchMethodError的根源大概率是依赖版本冲突，尤其是你用到的Json4S 3.6.0-M2和Spark内置的Json4S版本不兼容导致的。

为什么会出现这个错误？ #

NoSuchMethodError本质是JVM运行时找不到某个类的特定方法，在Spark场景下最常见的触发原因就是：

• Spark 2.2.x系列默认依赖的是Json4S 3.2.11版本，而你引入的3.6.0-M2是较新的迭代版本，两者之间部分类的方法签名已经发生了变化。当你的代码调用到这些变更过的方法时，运行时就会抛出找不到方法的错误。
• 如果你的项目里还有其他依赖间接引入了不同版本的Json4S，类加载器可能会加载错误版本的类，进一步加剧这个问题。

具体解决建议 #

1. 统一Json4S版本为Spark兼容的版本
   把你的Json4S依赖强制改成Spark 2.2.1对应的3.2.11版本，确保和Spark内置依赖一致。以sbt为例：

   libraryDependencies += "org.json4s" %% "json4s-core" % "3.2.11" force()
   libraryDependencies += "org.json4s" %% "json4s-jackson" % "3.2.11" force()
   

   Maven的话则在依赖里添加<scope>provided</scope>或者用<dependencyManagement>统一版本。

2. 排查并清理依赖冲突
   用依赖分析工具找出冲突的Json4S引入：

   • sbt执行 sbt dependencyTree
   • Maven执行 mvn dependency:tree
     找到其他依赖带进来的非3.2.11版本的Json4S，然后排除它们。比如sbt里排除：

   libraryDependencies += "com.example" %% "some-dependency" % "1.0.0" exclude("org.json4s", "json4s-core") exclude("org.json4s", "json4s-jackson")
   

3. 简化测试验证（可选）
   如果你还是担心字段序列化的问题，可以先写一个只包含基础字段的简化版DataFrame到Parquet，如果成功，再逐步添加ArrayType等复杂字段，确认是依赖问题而非字段本身的问题（不过根据经验，这个概率极低）。

4. 集群环境额外检查
   如果是在集群上运行，确认集群的Spark类路径里没有混入其他版本的Json4S jar包，避免和你的应用依赖产生冲突。

另外提一句：Spark 2.2.1确实比较老旧了，如果业务允许，升级到2.4.x或者3.x版本会减少很多这类依赖兼容问题，但如果暂时不能升级，严格控制依赖版本是最有效的解决方式。

内容的提问来源于stack exchange，提问作者ggagliano