Spark Catalyst优化器类型转换异常：方法引用引发的类型错误

这个问题挺有意思的，我来帮你拆解一下为什么方法引用会触发类型转换错误，而lambda表达式却能正常工作。

核心问题出在Spark的类型推断机制和它的CombineTypedFilters查询优化逻辑上：

• 你的check方法参数是Interface1，当你用this::check作为方法引用时，Java的类型推断会根据上下文自动推导它的泛型类型。第一次调用foos.filter((FilterFunction<Foo>) this::check)时，这个方法引用被推断为FilterFunction<Foo>类型。
• Spark的CombineTypedFilters优化会尝试复用相同的过滤函数实例来提升性能。当你第二次调用bars.filter((FilterFunction<Bar>) this::check)时，Spark可能错误地复用了之前为Foo类型创建的过滤函数实例，导致在运行时把Bar对象强制转换成Foo，触发ClassCastException。
• 而用lambda表达式obj -> check(obj)时，每次调用都会创建一个全新的FilterFunction实例，并且明确绑定了当前上下文的泛型类型（第一次是FilterFunction<Foo>，第二次是FilterFunction<Bar>），Spark无法复用不同的实例，也就不会出现类型混淆的问题。

这里有几个可行的解决办法，你可以根据自己的场景选择：

1. 用lambda包装方法引用（最简单的方案） #

就像你已经发现的那样，用lambda表达式包裹方法引用，确保每次调用都生成独立的FilterFunction实例：

foos.filter((FilterFunction<Foo>) obj -> check(obj)).collectAsList();
bars.filter((FilterFunction<Bar>) obj -> check(obj)).collectAsList();

这个方法不需要修改原有逻辑，直接规避了Spark优化带来的类型复用问题。

2. 显式创建FilterFunction实例 #

你可以为每个Dataset单独创建一个明确类型的FilterFunction实例，避免类型推断的歧义：

FilterFunction<Foo> fooFilter = this::check;
FilterFunction<Bar> barFilter = this::check;

foos.filter(fooFilter).collectAsList();
bars.filter(barFilter).collectAsList();

这样Spark会识别到这是两个不同的过滤函数实例，不会错误地复用它们。

3. 禁用CombineTypedFilters优化（不推荐） #

如果上面的方案都不适合你，也可以通过Spark配置禁用这个优化，但这会影响查询性能，所以只作为最后的备选：

sparkSession.conf().set("spark.sql.optimizer.excludedRules", "org.apache.spark.sql.catalyst.optimizer.CombineTypedFilters");

内容的提问来源于stack exchange，提问作者yazabara