如何在PySpark中移除DataFrame字符串列的特殊字符与Unicode表情

核心清理逻辑按优先级覆盖三类目标：HTML组件 → emoji表情 → 异常Unicode字符（含\u2013、\u2022等），适配PySpark DataFrame场景的两种实现如下：

1. 内置正则方案（无UDF，分布式场景性能最优） #

直接使用Spark内置regexp_replace方法，不需要额外依赖：

import pyspark.sql.functions as F

df = df.withColumn(
    "cleaned_text",
    # 第一步：清理所有HTML标签
    F.regexp_replace(F.col("text"), r"<[^>]*>", "")
    # 第二步：清理全量Unicode emoji区间
    .regexp_replace(r"[\U0001F600-\U0001F64F\U0001F300-\U0001F5FF\U0001F680-\U0001F6FF\U0001F1E0-\U0001F1FF\U00002500-\U00002BEF\U00002702-\U000027B0\U000024C2-\U0001F251\U0001f926-\U0001f937\U00010000-\U0010ffff\u2640-\u2642\u2600-\u2B55\u200d\u23cf\u23e9\u231a\u3030\u23ee\ufe0f\u20e3]", "")
    # 第三步：清理所有非ASCII可打印字符，覆盖\u2013、\u2022等异常字符和控制字符
    .regexp_replace(r"[^\x20-\x7E]", "")
    # 第四步：清理多余双引号和连续空格
    .regexp_replace(r'"|\s+', " ")
    # 去除首尾空白
    .trim()
)

测试你提供的输入i want to remove 😃 and codes "\u2022"，输出完全符合预期：i want to remove and codes。

2. 精准HTML清理方案（适合小数据量场景） #

如果DataFrame规模不大，可转pandas用BeautifulSoup做更精准的HTML解析，避免正则清理HTML的边缘场景遗漏：

import pandas as pd
import re
from bs4 import BeautifulSoup

def clean_raw_text(raw):
    # 清理HTML组件
    no_html = BeautifulSoup(raw, "lxml").text
    # 丢弃所有非ASCII字符
    no_special = no_html.encode("ascii", errors="ignore").decode("ascii")
    # 清理冗余字符
    cleaned = re.sub(r'"|\s+', " ", no_special).strip()
    return cleaned

# 应用清理逻辑
pd_df = df.toPandas()
pd_df["cleaned_text"] = pd_df["text"].apply(clean_raw_text)
# 按需转回Spark DataFrame
df = spark.createDataFrame(pd_df)

原有方案失效原因 #

• 你在re.sub的白名单里加入了\u2022，所以该字符不会被删除
• 直接对Spark Column调用encode是无效语法，Spark Column没有字符串方法，必须用UDF包裹或者使用内置正则函数
• 部分转义字符在Spark正则中需要按Unicode区间匹配，避免字面量匹配失效

内容的提问来源于stack exchange，提问作者Carlos Eduardo Bilar Rodrigues