PySpark中如何将DataFrame数组列与外部列表求交集？

正确解决方案（推荐使用内置函数，无需UDF） #

Spark内置的array_intersect函数可以直接处理数组列与常量数组的交集，无需自定义UDF，性能更优：

from pyspark.sql import functions as f

# 将外部列表a转换为Spark可识别的字面量数组（每个元素作为字符串常量）
a_constant_array = f.array([f.lit(item) for item in a])

# 计算recs列与a的交集，新增intersect列
df = df.withColumn('intersect', f.array_intersect(f.col('recs'), a_constant_array))

备选方案（使用UDF，适合复杂逻辑场景） #

如果必须用UDF，需要注意将外部列表转为广播变量（避免每个任务重复传递大列表），且UDF内部用纯Python逻辑处理：

from pyspark.sql import functions as f
from pyspark.sql.types import ArrayType, StringType

# 广播大列表a，提升分布式计算效率
broadcast_a = spark.sparkContext.broadcast(a)

def calculate_intersection(arr):
    if not arr:
        return []
    # 用Python集合求交集，再转回列表
    return list(set(arr) & set(broadcast_a.value))

# 注册UDF
intersect_udf = f.udf(calculate_intersection, ArrayType(StringType()))

# 应用UDF生成交集列
df = df.withColumn('intersect', intersect_udf(f.col('recs')))

错误原因解析 #

你之前的代码存在两个关键问题：

1. f.array(a)的误用：该函数会把列表中的每个字符串解析为列名（而非字符串常量），Spark会尝试查找名为100075010的列，但这些列不存在（已被select移除），因此抛出cannot resolve '100075010'的错误。正确的做法是用f.lit()把每个元素包装成常量。
2. UDF内部嵌套Spark函数：UDF的lambda中调用f.array_intersect是错误的——UDF执行的是Python代码，不能直接嵌套Spark的SQL函数，必须用纯Python逻辑处理数组交集。

内容的提问来源于stack exchange，提问作者Chris_007