如何去除PySpark DataFrame记录前后NUL空白并保存为CSV文件

你的问题核心是NUL字符（ASCII 0x00）不属于常规空白字符范畴，所以trim()/strip()函数以及CSV写入的ignoreLeadingWhiteSpace/ignoreTrailingWhiteSpace参数都无法处理它。以下是针对性的解决方案：

方法1：移除每列首尾的NUL字符 #

使用正则表达式替换，精准匹配并移除每列值首尾的NUL字符：

from pyspark.sql.functions import regexp_replace, col

# 定义NUL字符的Unicode表示
nul_char = '\u0000'

# 遍历所有列，处理首尾的NUL字符
processed_df = df.select([
    regexp_replace(col(c), f"^{nul_char}+|{nul_char}+$", "").alias(c)
    for c in df.columns
])

# 保存处理后的DataFrame
processed_df.write.mode('overwrite').format('csv').save("hdfs/path")

方法2：移除所有位置的NUL字符 #

如果数据中不仅首尾，列中间也存在NUL字符，可以用translate函数一次性移除所有NUL：

from pyspark.sql.functions import translate

nul_char = '\u0000'
processed_df = df.select([
    translate(col(c), nul_char, "").alias(c)
    for c in df.columns
])

processed_df.write.mode('overwrite').format('csv').save("hdfs/path")

为什么之前的方法无效？ #

• trim()/strip()：仅处理空格、制表符、换行符等常规空白字符，不包含ASCII 0x00的NUL字符。
• ignoreLeadingWhiteSpace/ignoreTrailingWhiteSpace：CSV写入的这两个参数同样只针对常规空白字符，对NUL无效。

内容的提问来源于stack exchange，提问作者Dinesh Baburao