Spark 2.1.0中嵌套Case Class执行except/intersect操作失败求助

你碰到的这个坑其实是Spark except/intersect方法的核心特性导致的——正如官方注释里明确说明的：

@note Equality checking is performed directly on the encoded representation of the data and thus is not affected by a custom equals function defined on T

简单来说，这两个方法不会调用你Case Class里的自定义equals逻辑，而是直接对Spark编码器生成的二进制数据做相等性对比。但当数据结构包含嵌套Case Class时，Spark的代码生成器在处理嵌套类型的相等判断时会出现bug，就是你看到的Expression "inputadapter_isNull" is not an rvalue编译错误。

下面给你几个最优解决思路，按推荐程度排序：

1. 展开嵌套字段（最直接高效） #

把嵌套结构的字段展开成顶级列，让Spark能正确处理编码后的相等性检查。处理完成后如果需要，还可以再还原成原来的嵌套结构。

修改你的示例代码：

// 展开df3和df4的嵌套字段
val df3Flattened = df3.select("tString.str").withColumnRenamed("str", "t_str")
val df4Flattened = df4.select("tString.str").withColumnRenamed("str", "t_str")

// 现在可以正常调用intersect
df3Flattened.intersect(df4Flattened).show()

// 可选：还原回原来的嵌套Case Class结构
import org.apache.spark.sql.functions.struct
val restoredIntersectDf = df3Flattened.intersect(df4Flattened)
  .select(struct($"t_str".as("str")).as("tString"))
  .as[CanonicalExample].toDF()

restoredIntersectDf.show()

2. 用Join替代except/intersect（灵活适配复杂嵌套） #

如果嵌套结构层级多、展开麻烦，可以用Spark的Join操作来模拟except和intersect的逻辑，这种方式对嵌套类型的兼容性更好：

• 模拟intersect：用inner join匹配相同的记录
• 模拟except：用left anti join筛选出左表有但右表没有的记录

示例代码（模拟intersect）：

// 基于嵌套字段的内容做inner join，实现intersect逻辑
val intersectDf = df3.join(
  df4,
  df3("tString.str") === df4("tString.str"), // 直接引用嵌套字段做匹配
  "inner"
).select(df3("*")) // 只保留左表的结构

intersectDf.show()

示例代码（模拟except）：

// 用left anti join模拟df3.except(df4)
val exceptDf = df3.join(
  df4,
  df3("tString.str") === df4("tString.str"),
  "left_anti"
)

exceptDf.show()

3. 自定义编码器（不推荐，仅特殊场景使用） #

如果你必须保留嵌套结构且不想用上述方法，可以尝试自定义Spark编码器来处理嵌套类型的相等性判断，但这种方式需要深入理解Spark的编码机制，实现起来繁琐且容易出错，一般不推荐作为首选方案。

注意事项 #

• exceptAll和intersectAll方法也存在同样的嵌套类型问题，解决思路完全一致
• 如果嵌套结构包含集合类型（比如List、Array），展开字段时要注意处理集合的匹配逻辑，此时Join方式会更灵活

内容的提问来源于stack exchange，提问作者Ehud Lev