Java调用Deequ的hasCompleteness方法时Function1类型参数异常问题

问题本质 #

这是Scala与Java泛型互操作的典型差异问题：Scala定义的Function1[Double, Boolean]在Java环境中会因Scala类型系统的适配逻辑，被泛化为Function1<Object, Object>，导致强类型的Java实现无法直接匹配。

优雅解决方案（无需丢失类型参数） #

方案1：用Scala Java8兼容工具类显式转换 #

借助scala.compat.java8.FunctionConverters完成Java Lambda到Scala Function1的类型安全转换，保留泛型参数：

import scala.compat.java8.FunctionConverters;
import scala.Function1;

public static Function1<Double, Boolean> atLeast(double thresholdPercentage) {
    return FunctionConverters.asScala((Double actualPercentage) -> actualPercentage >= thresholdPercentage);
}

这种方式会明确传递泛型信息，避免编译时类型不匹配。

方案2：直接传入Java Lambda（利用SAM转换） #

Scala支持将Java的单抽象方法（SAM）类型自动转换为Scala函数类型，调用hasCompleteness时可直接传Lambda，无需手动封装Function1：

Check check = new Check()
    .hasCompleteness("target_column", actual -> actual >= 0.9);

Scala会自动处理类型转换，代码更简洁且类型安全。

环境配置排查 #

如果以上方案仍报错，检查以下配置：

• 确保Gradle/Maven依赖中，scala-library和scala-java8-compat的版本与Deequ依赖的Scala版本一致：

  dependencies {
      implementation "com.amazon.deequ:deequ:2.0.0-spark-3.3"
      implementation "org.scala-lang:scala-library:2.12.15"
      implementation "org.scala-lang.modules:scala-java8-compat_2.12:1.0.2"
  }
  

• IntelliJ IDEA操作：
  1. 进入File > Project Structure，确认Scala SDK版本与依赖一致
  2. 执行File > Invalidate Caches... > Invalidate and Restart，清除类型缓存异常

临时方案的原理 #

返回未参数化的Function1是利用Java原始类型的兼容性，编译器会跳过泛型检查，但这会埋下类型安全隐患，不推荐长期使用。

内容的提问来源于stack exchange，提问作者Ted Yavuzkurt