解读Java NoSuchMethodError：ClusteredDistribution.apply$default$2()异常

问题描述 #

运行程序时抛出以下异常：

java.lang.NoSuchMethodError: 'boolean org.apache.spark.sql.catalyst.plans.physical.ClusteredDistribution$.apply$default$2()'

编译时依赖的ClusteredDistribution类定义：

case class ClusteredDistribution(
    clustering: Seq[Expression],
    requiredNumPartitions: Option[Int] = None) extends Distribution {
  require(
    clustering != Nil,
    "The clustering expressions of a ClusteredDistribution should not be Nil. " +
      "An AllTuples should be used to represent a distribution that only has " +
      "a single partition.")
}

运行环境中的ClusteredDistribution类定义：

case class ClusteredDistribution(
    clustering: Seq[Expression],
    requireAllClusterKeys: Boolean = SQLConf.get.getConf(
      SQLConf.REQUIRE_ALL_CLUSTER_KEYS_FOR_DISTRIBUTION),
    requiredNumPartitions: Option[Int] = None) extends Distribution {
  require(
    clustering != Nil,
    "The clustering expressions of a ClusteredDistribution should not be Nil. " +
      "An AllTuples should be used to represent a distribution that only has " +
      "a single partition.")
}

疑问：该异常是否因运行时新增的带默认值的requireAllClusterKeys参数在编译时不存在导致？如何解读异常中的.apply$default$2()？

解答 #

异常原因确认 #

是的，这个异常完全是编译与运行环境的ClusteredDistribution类结构不一致导致的，核心原因是运行时版本新增了带默认值的参数，破坏了二进制兼容性。

对.apply$default$2()的解读 #

Scala的case class会自动生成伴生对象的apply方法，当参数带有默认值时，编译器会额外生成apply$default$N格式的方法（N是参数的位置序号，从1开始计数），用于获取对应参数的默认值：

• 编译时的ClusteredDistribution有2个参数，第2个参数requiredNumPartitions带默认值，因此生成的apply$default$2()返回类型是Option[Int]，用于提供该参数的默认值None。
• 运行时的版本新增了第2个参数requireAllClusterKeys（Boolean类型，带默认值），此时原来的requiredNumPartitions变成了第3个参数。运行时环境中生成的apply$default$2()是返回Boolean类型的方法，用于获取requireAllClusterKeys的默认值。

你的代码编译时调用的是旧版本的apply$default$2()（返回Option[Int]），但运行时环境里只有新版的apply$default$2()（返回Boolean），JVM找不到符合方法签名的旧方法，因此抛出NoSuchMethodError。异常中的'boolean'是运行时该方法的返回类型，进一步说明签名不匹配。

解决建议 #

确保编译程序使用的Spark依赖版本与运行环境的Spark版本完全一致，避免因类结构变化导致的二进制兼容性问题。

内容的提问来源于stack exchange，提问作者stackoverflowflowflwofjlw