PySpark读写CSV时无法清除Unicode控制字符的解决方法咨询

你之前尝试的所有配置都达不到预期，本质是没有匹配上特殊字符的处理逻辑：

• 调整读写编码参数（UTF-8/ISO-8859-1）：这类配置仅作用于CSV读写过程中的字节流解码、编码转换流程，不会触碰DataFrame内存中存储的字符串实体本身，无论选什么编码，只要字符串里存了\u0001，读写前后都会完整保留
• 配置nullValue = "\u0001"：这个参数的触发规则是：整段字段值和配置的匹配值完全相等时，才会把字段识别为null，像示例里的somestring\u0001bla，整段值不等于\u0001，这个配置根本不会触发任何替换逻辑

这类嵌入在字符串内部的Unicode控制字符，无法通过CSV读写的原生配置过滤，必须在DataFrame层面做内容清洗，推荐落地方式：

批量清洗全表字符串字段（最通用的方案） #

在数据读取完成后、写出CSV前，对所有字符串类型的字段做正则替换，移除所有匹配到的Unicode控制字符，示例代码：

from pyspark.sql.functions import regexp_replace, col
from pyspark.sql.types import StringType

# 正则匹配范围覆盖所有标准Unicode控制字符：\u0000-\u001F、\u007F-\u009F
control_char_pattern = r'[\x00-\x1F\x7F-\x9F]'

# 自动遍历表内所有字符串类型字段，批量替换特殊字符
for field in df.schema.fields:
    if isinstance(field.dataType, StringType):
        df = df.withColumn(
            field.name,
            regexp_replace(col(field.name), control_char_pattern, "")
        )

# 清洗完成后再执行CSV写出操作即可
df.write.option("encoding", "UTF-8").csv("你的输出路径")

• 如果你只需要清除特定的单个字符（比如只处理\u0001），可以把正则表达式简化为r'\u0001'，进一步降低正则匹配的性能开销
• 这套逻辑既可以放在读取完源数据后第一时间执行，也可以放在写出CSV前的最后一步执行，处理效果完全一致

关键注意点 #

\u0001本身是合法的UTF-8编码可表示的字符，不存在“换个编码就能自动把它过滤掉”的可能，所有依赖编码参数处理特殊字符的尝试本质都是走不通的。

内容的提问来源于stack exchange，提问作者Makaroni