PySpark：如何高效判断DataFrame列表列是否包含常量列表元素？

核心需求 #

给包含列表类型列的DataFrame新增布尔列，标识该列表中是否至少有一个元素存在于指定常量列表中。

最优实现（无需UDF） #

UDF涉及Python-JVM序列化开销，大数据场景下性能较差，推荐使用PySpark内置函数实现：

方法1：利用array_intersect + size函数

通过计算列表列与常量列表的交集，判断交集长度是否大于0：

from pyspark.sql import functions as F

constants = ["A", "B", "C", "D"]

# 将常量列表转为PySpark数组类型
const_array = F.array(*[F.lit(c) for c in constants])

df_result = df.withColumn(
    "is_in_col",
    F.size(F.array_intersect(F.col("my_list"), const_array)) > 0
)

方法2：利用exists函数（Spark 2.4+支持）

exists函数可遍历列表列的每个元素，直接判断是否存在于常量列表中，逻辑更直观：

from pyspark.sql import functions as F

constants = ["A", "B", "C", "D"]

df_result = df.withColumn(
    "is_in_col",
    F.exists(F.col("my_list"), lambda item: item.isin(constants))
)

为什么之前的尝试效果不佳？ #

• array_contains仅支持检查单个元素是否在列表中，无法直接对比两个列表的交集；
• array_intersect本身是正确的方向，但需要结合size函数判断交集是否非空，才能得到布尔结果。

示例输出 #

+---+---------+---------+
| id|  my_list|is_in_col|
+---+---------+---------+
|111|[A,B,C]  |     true|
|222|[C,D,E]  |     true|
|333|[D,E,F]  |     true|
+---+---------+---------+

（若存在列表如["E","F"]，对应的is_in_col会返回false）

内容的提问来源于stack exchange，提问作者Nice Guy Eddie