如何在PySpark 3.0中过滤列内字符串中的KO元素？

不用regexp_replace的话，可以通过字符串拆分-数组过滤-结果拼接的流程实现，完全依赖PySpark内置函数，逻辑更直观：

• 第一步：用split()将原始字符串按, 分割为数组，每个元素对应单个itemX: XX条目
• 第二步：用filter()结合contains()筛选出不含KO的数组元素
• 第三步：用concat_ws()将过滤后的数组重新拼接为目标格式的字符串

代码示例 #

假设目标列名为items_str，处理代码如下：

from pyspark.sql import functions as F

# 处理逻辑：拆分→过滤→拼接
df = df.withColumn(
    "filtered_items",
    F.concat_ws(
        ", ",
        F.filter(
            F.split(F.col("items_str"), ", "),
            lambda item: ~item.contains("KO")
        )
    )
)

优势说明 #

这种方式比正则表达式可读性更强，后续如果需要调整过滤规则（比如改为过滤ERROR等其他关键词），只需修改contains()的参数即可，无需维护复杂的正则匹配规则，适配场景更灵活。

内容的提问来源于stack exchange，提问作者Randomize