PySpark读取ISO-8859-1编码文本文件的特殊字符处理问题

以下是几个可行的处理方案，针对你遇到的特殊字符丢失、固定宽度解析失败的问题：

• 方法一：指定编码读取文本后手动截取固定宽度
  先以ISO-8859-1编码完整读取每行内容，再通过字符串截取解析固定宽度字段，确保原始字符不丢失：

  # 读取文件时明确指定ISO-8859-1编码
  raw_df = spark.read.text("file/path", encoding="ISO-8859-1")
  # 按实际固定宽度截取字段，示例中col1占10位，col2占15位
  parsed_df = raw_df.select(
      raw_df.value.substr(1, 10).alias("col1"),
      raw_df.value.substr(11, 15).alias("col2"),
      # 按需添加更多字段的截取规则
  )
  

  这种方式直接保留每行的原始字符串，避免编码转换导致的字符长度变化，完全适配固定宽度格式的解析需求。

• 方法二：利用Spark 3.0+的固定宽度CSV解析特性
  Spark 3.0及以上版本支持CSV数据源的fixedWidth选项，可直接结合编码设置解析固定宽度文件，无需手动截取：

  from pyspark.sql.types import StructType, StructField, StringType
  
  # 定义字段结构，与固定宽度对应
  custom_schema = StructType([
      StructField("col1", StringType(), nullable=True),
      StructField("col2", StringType(), nullable=True),
      # 按实际字段添加定义
  ])
  
  parsed_df = spark.read.format("csv") \
      .option("encoding", "ISO-8859-1") \
      .option("fixedWidth", "col1:10,col2:15")  # 格式为"字段名:宽度"，多字段用逗号分隔
      .schema(custom_schema) \
      .load("file/path")
  

  该方式更简洁，适合字段数量较多的场景，底层会自动按指定编码和宽度解析每行数据。

• 方法三：统一Spark环境的编码配置
  若指定编码后仍无效，可能是Spark的Java环境默认编码干扰了读取，可通过配置参数强制设置编码：

  • 启动Spark时添加配置：

    spark-submit --conf spark.driver.extraJavaOptions=-Dfile.encoding=ISO-8859-1 --conf spark.executor.extraJavaOptions=-Dfile.encoding=ISO-8859-1 your_script.py
    

  • 或在代码中动态设置：

    spark.conf.set("spark.driver.extraJavaOptions", "-Dfile.encoding=ISO-8859-1")
    spark.conf.set("spark.executor.extraJavaOptions", "-Dfile.encoding=ISO-8859-1")
    

  确保Driver和Executor的编码与文件编码一致，避免隐式转换导致的字符丢失。

内容的提问来源于stack exchange，提问作者Mike P.