PySpark如何替换DataFrame字符串列中的重音字符？

你写的去重音核心逻辑本身没有问题，调用后返回M?xico这类带问号的结果，本质是编码问题：

• Spark Executor端默认字符集不是UTF-8，重音字符在传入Python函数前就已经被错误转码为?，后续处理无法还原
• 直接将普通Python函数作为UDF使用时，没有明确声明返回类型、做空值兼容，Spark序列化数据的过程中也可能出现字符损坏

前置配置（必做，从根源避免乱码） #

启动Spark任务时先加UTF-8编码配置，彻底堵死转码乱码的可能：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .config("spark.sql.session.charset", "UTF-8") \
    .config("spark.executor.extraJavaOptions", "-Dfile.encoding=UTF-8") \
    .getOrCreate()

方案1：修正版Python UDF（适合Spark 2.x 低版本、小数据量场景） #

在原有逻辑基础上增加空值判断、类型校验，注册UDF时明确声明返回字符串类型，避免序列化问题：

import unicodedata
from pyspark.sql.types import StringType
from pyspark.sql.functions import udf

def strip_accents(s):
    # 空值直接返回，避免任务报错
    if s is None:
        return None
    # 强制转字符串类型，兼容数字、特殊格式输入
    if not isinstance(s, str):
        s = str(s)
    # 原有去重音逻辑：NFD标准化后过滤所有变音符号类字符
    normalized_str = unicodedata.normalize('NFD', s)
    return ''.join(c for c in normalized_str if unicodedata.category(c) != 'Mn')

# 注册为Spark UDF，明确返回类型
strip_accents_udf = udf(strip_accents, StringType())

# 调用示例：替换目标列
df = df.withColumn("cleaned_column", strip_accents_udf("your_accent_column"))

本地直接调用strip_accents('México')即可返回Mexico，不会再出现问号乱码。

方案2：原生Spark函数实现（适合Spark 3.x+、大数据量场景，性能提升5~10倍） #

Python UDF需要在JVM和Python进程之间序列化数据，性能损耗极大，百万级以上数据推荐用Spark内置函数实现，完全没有编码问题，还能享受Catalyst优化：

from pyspark.sql.functions import regexp_replace, normalize

df = df.withColumn(
    "cleaned_column",
    regexp_replace(
        # 等价于unicodedata的NFD标准化，将带重音字符拆为基础字母+独立变音符号
        normalize("your_accent_column", "NFD"),
        # 正则匹配所有变音标记类字符，直接替换为空
        r"\p{M}",
        ""
    )
)

两种方案对示例数据的处理结果完全符合预期：

内容的提问来源于stack exchange，提问作者Ana Beatriz