检查DataFrame数组列重叠元素 无需explode实现ID与No组合匹配筛选

完全可以借助Spark内置的数组高阶函数满足需求，全程不需要调用explode拆分数组，以下是两种适配不同场景的落地方式：

方案一：使用array_intersect直接匹配共同元素 #

实现原理：Spark支持对struct类型数组做逐字段的相等性判断，两个数组的交集就是同时出现在两个列里的「ID+No」组合，只要交集长度大于0，就说明存在符合要求的匹配项。
PySpark示例代码：

from pyspark.sql import functions as F

filtered_df = df.filter(
    # 取两个数组的交集，只要交集非空就满足筛选条件
    F.size(F.array_intersect("Arrayed_Column_1", "Arrayed_Column_2")) > 0
)

适用场景：Spark 2.4及以上版本，struct列仅包含ID、No两个字段，struct整体相等就等价于两个字段组合相等的场景，写法最简洁。

方案二：嵌套exists高阶函数做自定义匹配 #

实现原理：通过嵌套的exists函数逐元素遍历两个数组，只要能找到一组同时满足ID相等、No相等的元素，就判定当前行符合筛选要求，灵活性更高。
PySpark示例代码：

from pyspark.sql import functions as F

filtered_df = df.filter(
    F.expr("""
        exists(
            Arrayed_Column_1,
            -- 遍历Arrayed_Column1的每个元素x，检查是否在Arrayed_Column2中存在匹配
            x -> exists(
                Arrayed_Column_2,
                -- 自定义匹配规则：ID和No同时相等
                y -> x.ID == y.ID and x.No == y.No
            )
        )
    """)
)

适用场景：struct列后续会扩展其他字段、需要自定义匹配规则的场景，哪怕struct结构变更，只要保留ID和No的匹配判断逻辑即可，不会受无关字段的影响。

方案说明 #

• 两种实现全程都在单行数据内部完成数组元素匹配，不会触发explode带来的行数膨胀、额外shuffle开销，计算效率远高于先explode再join匹配的方式。
• 你之前使用的array_contains仅支持「传入固定字面量值，检查值是否存在于数组中」的场景，无法完成两个数组间的动态元素匹配，而上述两种方案都是针对数组间动态匹配的官方内置实现。
• 按示例数据验证，两种方案最终会筛选出原表的第2、3行，完全符合筛选要求。

内容的提问来源于stack exchange，提问作者Antonius