PySpark实现列表列与静态列表的二进制比较生成新数组列

不用UDF也能实现需求，还能避开你遇到的虚拟环境错误，甚至不需要把list2加到DataFrame里。核心思路是利用array_contains判断元素是否存在，再用when生成0/1标记，最后把所有标记打包成数组。

完整代码实现 #

import pandas as pd
from pyspark.sql.types import ArrayType, StringType, IntegerType
import pyspark.sql.functions as F

# 构造原始DataFrame
a = [1,2,3]
b = [['a', 'b', 'c'], ['d', 'e', 'f'], ['g', 'h', 'i']]
df = pd.DataFrame({'id': a, 'list1': b})
df = spark.createDataFrame(df)

# 静态列表list2
list2 = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i']

# 生成result列：对list2每个元素判断是否在list1中，生成0/1数组
df = df.withColumn(
    'result',
    F.array([
        F.when(F.array_contains(F.col('list1'), x), 1).otherwise(0)
        for x in list2
    ])
)

# 查看结果
df.show(truncate=False)

输出结果 #

+---+---------+-----------------------------+
|id |list1    |result                       |
+---+---------+-----------------------------+
|1  |[a, b, c]|[1, 1, 1, 0, 0, 0, 0, 0, 0] |
|2  |[d, e, f]|[0, 0, 0, 1, 1, 1, 0, 0, 0] |
|3  |[g, h, i]|[0, 0, 0, 0, 0, 0, 1, 1, 1] |
+---+---------+-----------------------------+

方案优势 #

• 规避UDF环境问题：Python UDF需要在每个Executor上初始化Python环境，容易出现虚拟环境、依赖包不一致的错误，原生Spark函数在JVM层面执行，稳定性更高。
• 无需额外列：不用把list2作为列加入DataFrame，直接在构造result列时使用静态列表，逻辑更简洁。
• 性能更优：原生函数的执行效率远高于Python UDF，数据量越大优势越明显。

内容的提问来源于stack exchange，提问作者Ncalverley