PySpark中如何利用数组列与指定列表交集过滤DataFrame？

问题根源 #

你碰到的AnalysisException，本质是直接把Python原生列表传给了arrays_overlap函数——这个函数要求两个参数都是Spark的ArrayType列，不能直接用Python列表当第二个参数。

正确实现方案 #

方法1：用arrays_overlap（推荐） #

先把Python列表转换成Spark能识别的ArrayType列，用F.array()配合F.lit()构造即可：

from pyspark.sql import functions as F

# 示例DataFrame
df = spark.createDataFrame(
    [(1, ["apple", "banana"]), (2, ["orange", "grape"]), (3, ["pear", "mango"])],
    ["id", "fruits"]
)

# 要匹配的目标元素列表
target_fruits = ["apple", "orange"]

# 正确调用arrays_overlap
filtered_df = df.filter(
    F.arrays_overlap(F.col("fruits"), F.array(*[F.lit(fruit) for fruit in target_fruits]))
)

filtered_df.show()

输出结果：

+---+------------+
| id|      fruits|
+---+------------+
|  1|[apple, banana]|
|  2|[orange, grape]|
+---+------------+

方法2：用exists+array_contains #

如果不想用arrays_overlap，可以通过F.exists遍历数组列元素，检查是否存在于目标列表中：

filtered_df = df.filter(
    F.exists(F.col("fruits"), lambda elem: F.array_contains(F.array(*[F.lit(f) for f in target_fruits]), elem))
)

方法3：多array_contains逻辑或（适合小列表） #

如果目标列表元素不多，也可以用any()结合多个array_contains的逻辑或：

filtered_df = df.filter(
    any(F.array_contains(F.col("fruits"), fruit) for fruit in target_fruits)
)

注意：这种方法在列表很大时会生成大量条件，性能不如前两种，仅推荐小列表场景使用。

错误写法示例（避坑） #

你之前报错的写法大概率是直接传了Python列表，Spark无法解析：

# 错误写法，触发AnalysisException
df.filter(F.arrays_overlap(F.col("fruits"), target_fruits))

内容的提问来源于stack exchange，提问作者ashap551