Apache Spark中RDD与DF的行比较深度及DF.intersect()机制是怎样的

核心结论：没有比较深度上限，会递归遍历到所有嵌套结构的最底层叶子节点做全值匹配，不存在浅比较行为。

具体运行逻辑可以拆成几点：

• 底层实现上，DataFrame的intersect()和distinct()、except()等集合操作共享同一套行相等判断逻辑：先对两个数据集做全字段去重，再基于所有字段做内连接匹配，不会跳过任何嵌套层级的字段。
• 不同复杂类型的匹配规则：
  • 嵌套Struct（也就是Row类型字段）：会逐层下钻比对每个字段，哪怕嵌套十层以上的树状结构，只要任意一个层级的任意字段值不一致，两行就会被判定为不相等，不会进入交集结果。
  • 嵌套Array类型：会校验元素顺序、每个元素的值完全一致，即使Array内部再嵌套Struct、Map或者其他Array，也会递归比对到最底层的原子值。
  • 嵌套Map类型：会校验所有key-value对完全匹配，Map内部嵌套的复杂结构同样会做深度递归比较。
• 你可以用下面的最小验证代码复现这个逻辑：

from pyspark.sql import SparkSession
from pyspark.sql.types import *

spark = SparkSession.builder.master("local[*]").appName("intersect_nested_test").getOrCreate()

# 构造三层嵌套结构的Schema
nested_schema = StructType([
    StructField("top_id", IntegerType()),
    StructField("lv1_struct", StructType([
        StructField("lv2_struct", StructType([
            StructField("lv3_val", StringType())
        ]))
    ]))
])

df_same_nest = spark.createDataFrame(
    [(1, {"lv2_struct": {"lv3_val": "target"}})],
    schema=nested_schema
)
df_diff_nest = spark.createDataFrame(
    [(1, {"lv2_struct": {"lv3_val": "other"}})],
    schema=nested_schema
)

# 最内层值不同时，交集结果为空
print(df_same_nest.intersect(df_diff_nest).count())  # 输出0
# 所有层级值完全一致时，才能匹配上
print(df_same_nest.intersect(df_same_nest).count()) # 输出1

注意一个特殊场景：如果嵌套字段存的是Spark SQL不支持的自定义Java/Scala对象、或者没有明确相等语义的二进制字段，比较时会直接按对象序列化后的字节数组判断，可能出现不符合业务预期的结果。只要是Spark原生支持的结构化类型（Struct、Array、Map、所有原子类型），深度全量比较的逻辑是稳定可靠的。

内容的提问来源于stack exchange，提问作者Noureddine Ettalhi