PySpark处理多语言CSV编码异常、列错位及空值填充问题求助

问题根因 #

• 编码配置错误：硬编码指定utf-16编码不符合文件实际编码格式，导致分隔符、列名、内容全部解析失败，最终仅识别到1个乱码列
• 列拆分逻辑缺失：未配置CSV字段内特殊字符（逗号、引号、换行）的解析规则，question列包含特殊字符时会被错误拆分为多列，导致列错位

可行解决方案 #

步骤1：适配多语言编码 #

优先测试主流多语言编码，按优先级顺序尝试：UTF-8 > UTF-8BOM > GB18030 > UTF-16LE，不要固定写死utf-16参数。

步骤2：修复列错位问题 #

读取CSV时增加特殊字符解析配置，开启引号识别、转义字符解析，容错异常行。

步骤3：适配Imputer空值填充逻辑 #

Imputer仅支持数值类型列，需显式指定target列的数值类型，避免读取时被识别为字符串类型导致填充失败。

修正后可运行代码 #

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, DoubleType
from pyspark.ml.feature import Imputer

if __name__ == "__main__":
    spark = SparkSession.builder.master("local[1]")\
        .appName("CSV_NULL_PROCESS")\
        .getOrCreate()

    # 显式指定schema，避免类型识别错误
    schema = StructType([
        StructField("id", StringType(), nullable=True),
        StructField("question", StringType(), nullable=True),
        StructField("target", DoubleType(), nullable=True)
    ])

    # 读取CSV，优先替换encoding参数测试适配的编码
    df = spark.read.options(header="True", schema=schema)\
        .option("encoding", "UTF-8") # 可依次替换为UTF-8BOM/GB18030/UTF-16LE测试
        .option("quote", "\"") # 识别引号包裹的字段，避免逗号拆分错误
        .option("escape", "\\") # 识别转义字符
        .option("multiLine", "true") # 处理字段内换行的情况
        .option("mode", "PERMISSIVE") # 容错异常行，避免读取中断
        .csv("csv23numNull.csv")

    # 查看读取结果确认无乱码、无列错位
    df.printSchema()
    df.show(truncate=False)

    # target列空值填充，支持mean/median两种策略
    imputer = Imputer(inputCols=['target'],
                    outputCols=["target_imputed"])\
        .setStrategy("mean") # 改为median即可切换为中位数填充

    df_processed = imputer.fit(df).transform(df)

    # 导出结果，指定UTF-8编码保证多语言兼容
    df_processed.coalesce(1).write.option("header","true")\
        .option("sep",",")\
        .option("encoding", "UTF-8")\
        .mode("overwrite")\
        .csv("csv23_processed_result")

    spark.stop()

注意事项 #

• 若切换所有编码后仍有乱码，可先使用本地文本编辑器（如VSCode）打开CSV文件，查看右下角显示的实际编码后再填入配置
• 若仍有少量列错位行，可在schema中新增_corrupt_record列存储异常行，单独排查处理

内容的提问来源于stack exchange，提问作者Veera Brahma Chary