PySpark中Python列表与数组列匹配过滤的None值处理问题

针对你的需求，核心是只对比两边数组中的非None元素是否存在重叠，同时处理数组本身为None的情况（视为空数组）。下面是具体的实现方案：

步骤说明 #

1. 先预处理Python列表my_list，移除其中的None元素，只保留有效匹配项
2. 对DataFrame的array_column做双重处理：移除数组内的None元素，同时将整个数组为None的情况转为空数组
3. 使用arrays_overlap判断处理后的两个数组是否存在重叠，以此作为过滤条件

代码实现 #

from pyspark.sql import functions as F

# 原始Python列表
my_list = ["AAA","BBB", "CCC"]

# 1. 预处理my_list：移除其中的None元素
filtered_my_list = [item for item in my_list if item is not None]
# 转为Spark数组常量
spark_target_array = F.array([F.lit(item) for item in filtered_my_list])

# 2. 处理DataFrame的array_column，过滤数组内的None并处理空数组情况
df_filtered = (
    df
    .withColumn(
        "cleaned_array",
        # 先过滤数组内的None，再把整个数组为None的情况转为空数组
        F.coalesce(F.filter(F.col("array_column"), lambda x: x.isNotNull()), F.array())
    )
    # 3. 过滤出存在非None元素匹配的行
    .filter(F.arrays_overlap(F.col("cleaned_array"), spark_target_array))
    # 清理临时列
    .drop("cleaned_array")
)

场景验证 #

所有规则均满足：

• 当my_list和array_column均为None → 处理后都是空数组，arrays_overlap返回False，过滤该行
• 其中一方为None另一方有值 → 处理后一方为空数组，arrays_overlap返回False，过滤该行
• my_list含None（比如["AAA", None]），仅当array_column存在非None的匹配元素（比如["AAA"]或["AAA", "DDD"]）时，处理后两边数组存在重叠，返回True，保留该行；若array_column只有None，处理后为空数组，返回False，过滤该行

内容的提问来源于stack exchange，提问作者Bella_18