PySpark中将拉丁重音等非英文字符替换为英文字母的方法

你不需要引入第三方JAR、不需要做Spark DataFrame和Pandas对象的转换、也不需要手动维护全量字符映射表，Spark自带的内置能力就可以实现和Python unicodedata 逻辑完全一致的字符转换，且全程为原生分布式执行，性能远高于Python UDF。

核心原理 #

和Python原生实现的逻辑完全对齐：

1. 先通过NFKD归一化将带重音/变音的拉丁字符拆解为「基础英文字母 + 独立的组合变音符号」两部分
2. 再通过正则过滤移除所有ASCII码范围外的变音符号，最终保留纯英文字母

具体实现 #

方案1：Spark 3.0+ 内置函数实现（推荐） #

Spark 3.0及以上版本内置了normalize函数，直接支持Unicode范式转换，是性能最优的方案：

from pyspark.sql import functions as F

def convert_non_ascii_to_base_letter(target_col: str):
    # 先做NFKD归一化，再移除非ASCII字符
    return F.regexp_replace(
        F.normalize("NFKD", F.col(target_col)),
        r"[^\x00-\x7F]",
        ""
    )

# 调用示例：新增列存储转换后的结果
clean_df = raw_df.withColumn("processed_text", convert_non_ascii_to_base_letter("text_col"))

方案2：低版本Spark兼容实现（无任何依赖） #

如果你的Spark版本低于3.0，没有内置normalize函数，可以通过Spark内置的reflect函数直接调用JDK自带的归一化能力，不需要引入任何第三方包，适配Palantir Foundry等有严格依赖限制的平台：

from pyspark.sql import functions as F

clean_df = raw_df.withColumn(
    "processed_text",
    F.expr("""
        regexp_replace(
            reflect('java.text.Normalizer', 'normalize', text_col, 'NFKD'),
            '[^\\x00-\\x7F]',
            ''
        )
    """)
)

不同方案对比 #

• 内置normalize+正则方案：无额外依赖，由Spark Catalyst引擎原生优化执行，性能是Python UDF的5-10倍，字符转换规则100%对齐Unicode标准无遗漏，适配所有受限平台
• reflect调用JDK方法方案：无额外依赖，性能和内置函数一致，兼容所有Spark版本，适配所有受限平台
• 手动维护映射表+replace方案：无额外依赖，性能尚可，但Unicode带变音的拉丁字符超千个，手动枚举必然存在遗漏，长期维护成本极高
• Python UDF封装unicodedata方案：无额外依赖，字符覆盖全，但存在Python进程序列化、跨进程通信开销，性能差
• 转Pandas API on Spark处理方案：无额外依赖，字符覆盖全，但需要做跨格式数据传输，大数据量下极易触发Driver端内存溢出
• 第三方JAR包方案：性能好、覆盖全，但需要上传自定义依赖，无法在有依赖限制的托管平台使用

注意事项 #

• 纯正则方案无法独立完成该需求：正则本身不具备Unicode范式拆解能力，无法直接将变音字符映射为对应基础字母，必须先做归一化再做正则过滤
• 上述两种原生方案的转换结果和Python unicodedata.normalize('NFKD', s).encode('ASCII', 'ignore')的输出完全一致，不需要额外做结果校验

内容的提问来源于stack exchange，提问作者mari