PySpark处理含Ä、ö、ü的DataFrame乱码及特殊字符替换问题

1. 优先排查读取阶段的编码配置 #

90%以上的特殊字符乱码、替换失效问题，都源于读取文件时未指定正确的编码格式。Spark默认以UTF-8编码解析文件，若存储德语字符的原始文件（CSV、TXT等文本格式）采用ISO-8859-1（Latin1） 编码，直接读取就会出现�乱码。
读取时指定正确编码的示例代码如下：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("handle_german_char").getOrCreate()
# 以CSV文件为例
df = spark.read.option("header", "true") \
        .option("encoding", "ISO-8859-1") \
        .csv("your_file_path.csv")

注意：如果是通过JDBC读取关系型数据库数据，请检查JDBC连接参数中的编码配置，确保与数据库表的实际编码一致，否则也会出现读取乱码问题。

2. 修复已加载的乱码数据 #

若已经完成数据加载不想重新读取，可以手动修正编码错误：你之前直接对字符串列调用decode无效，是因为当前字符串列已经是错误编码解码后的结果，需要先把错误字符串转回原始字节序列，再用正确编码重新解码，示例代码：

from pyspark.sql.functions import encode, decode, col

# 假设读入时错误使用UTF-8解码，原始文件实际编码为ISO-8859-1
df_fixed = df.withColumn("fixed_col", 
            decode(encode(col("original_string_col"), "UTF-8"), "ISO-8859-1")
        )

如果上述代码输出仍乱码，可调换两种编码的顺序尝试：decode(encode(col("original_string_col"), "ISO-8859-1"), "UTF-8")，直到能正常显示Ä、ö、ü等字符为止。

3. 替换德语变音字符 #

确认字符能正常显示后，多次调用regexp_replace即可完成字符替换需求：

from pyspark.sql.functions import regexp_replace

df_replaced = df_fixed \
    .withColumn("processed_col", regexp_replace(col("fixed_col"), "Ä", "Ae")) \
    .withColumn("processed_col", regexp_replace(col("processed_col"), "Ö", "Oe")) \
    .withColumn("processed_col", regexp_replace(col("processed_col"), "Ü", "Ue")) \
    .withColumn("processed_col", regexp_replace(col("processed_col"), "ä", "ae")) \
    .withColumn("processed_col", regexp_replace(col("processed_col"), "ö", "oe")) \
    .withColumn("processed_col", regexp_replace(col("processed_col"), "ü", "ue")) \
    .withColumn("processed_col", regexp_replace(col("processed_col"), "ß", "ss"))

若有更多替换规则，可通过循环批量生成替换逻辑，减少重复代码。

内容的提问来源于stack exchange，提问作者Niels