PySpark使用isin过滤array<string>列报类型不匹配错误如何解决

你代码中sentence列的类型是array<string>（字符串数组），而isin()方法仅适用于判断单个值是否属于给定列表，两者数据类型不匹配，因此触发报错。你需要实现的逻辑是：判断数组列中是否存在至少一个元素属于你指定的目标词汇列表。

推荐使用PySpark原生函数实现，性能优于自定义UDF，代码如下：
首先导入依赖函数：

from pyspark.sql.functions import col, array_intersect, size, lit, array

将原来的过滤逻辑替换为以下代码即可：

# 把目标列表转为Spark数组类型，计算两个数组的交集长度，大于0即存在匹配元素
selected_df = sentenceDataFrame.filter(
    size(
        array_intersect(col("sentence"), array(*[lit(word) for word in my_list]))
    ) > 0
)

注意：array_intersect是Spark 2.4及以上版本支持的内置函数，如果你使用的Spark版本更低，或者后续需要扩展更复杂的匹配逻辑，也可以使用自定义UDF实现：

from pyspark.sql.functions import udf
from pyspark.sql.types import BooleanType

# 自定义匹配逻辑
def has_target_word(arr):
    target_set = set(my_list)
    return any(word in target_set for word in arr)

match_udf = udf(has_target_word, BooleanType())
selected_df = sentenceDataFrame.filter(match_udf(col("sentence")))

执行以上任意一种方案，都会筛选出包含Java或Spark的两行记录，符合预期。

内容的提问来源于stack exchange，提问作者Artur Studziński