如何在PySpark中移除分词数组列内的各类特殊字符

words列属于分词后的数组类型（ArrayType(StringType())），核心处理逻辑是遍历数组内的每个字符串元素，通过正则匹配清除不符合要求的异常字符，你可以根据需求选以下两种实现方案：

方案1：用PySpark内置函数实现（性能最优，无需自定义UDF） #

直接用Spark原生的高阶函数处理，不会有UDF的序列化性能损耗，适合大数据量场景：

• 第一步：确认需要保留的字符范围，常用正则规则参考：
  • 仅保留ASCII可打印字符：可以直接过滤泰米尔文、特殊装饰字型英文、其他小语种特殊字符，正则写为[^\\x20-\\x7E]
  • 保留常规中英文、数字、常用标点：正则写为[^a-zA-Z0-9\u4e00-\u9fa5，。、；：？！“”‘’（）【】,.<>;:'"()\\[\\]\\s]，需要保留其他语种字符时，直接在方括号内补充对应Unicode编码范围即可
• 第二步：执行清洗操作，示例代码如下：

from pyspark.sql import functions as F

# 替换为你需要的过滤正则
filter_pattern = r'[^\x20-\x7E]'

# 遍历words数组做字符清洗，同时过滤空值无效词
df_cleaned = df.withColumn(
    "words_cleaned",
    F.expr(f"filter(transform(words, word -> regexp_replace(word, '{filter_pattern}', '')), cleaned_word -> cleaned_word != '')")
)

• 说明：如果需要用清洗后的结果直接覆盖原words列，把新列名words_cleaned改为words即可，不影响后续停用词移除、词干提取等处理流程。

方案2：自定义UDF实现（灵活度更高，适合复杂规则） #

如果过滤逻辑比较复杂，比如需要判断字符所属语种、做多重格式校验，可以用自定义UDF实现：

from pyspark.sql import functions as F
from pyspark.sql.types import ArrayType, StringType
import re

def clean_words(words_list):
    if not words_list:
        return []
    # 可自定义调整正则规则
    pattern = re.compile(r'[^\x20-\x7E]')
    cleaned_list = []
    for word in words_list:
        cleaned_word = pattern.sub('', word).strip()
        if cleaned_word:
            cleaned_list.append(cleaned_word)
    return cleaned_list

# 注册UDF
clean_words_udf = F.udf(clean_words, ArrayType(StringType()))

# 应用到DataFrame
df_cleaned = df.withColumn("words_cleaned", clean_words_udf(F.col("words")))

内容的提问来源于stack exchange，提问作者gigioneggiavamo