Spark读取Parquet创建DataFrame时特殊字符编码乱码问题

问题本质说明 #

你遇到的Schrödinger被解析为Schrödinger的乱码，属于典型的二次编码错位，根本不是“Spark默认没开UTF-8读取”的问题——Parquet的字符串编码规则是在文件写入阶段就固化在元数据里的，读端为文本文件设计的强制UTF-8配置，对Parquet解析流程完全不生效，这也是你之前试了强制指定编码后问题没解决的核心原因。

分步排查与修复操作 #

• 先核对Parquet文件自身的schema元数据，别只看字面的字段定义注释
  你提到的字段声明为optional binary title (UTF8);，需要特别注意：Parquet文件里的逻辑类型标记如果没有和原始二进制字段做绑定，Spark读取时会把这个字段当成纯字节数组（裸BINARY类型）处理，不会自动套用UTF-8解码逻辑。这种场景下如果上层代码拿到字节数组后，默认用环境自带的编码（很多Linux环境默认是ISO-8859-1/Latin-1）做了一次字符串转换，再按UTF-8编码回写成字符串值，就会直接生成ö这类典型的错位乱码。
  核对方法很简单：直接读取Parquet文件的元数据，确认title字段对应的逻辑类型是不是正确关联了原生STRING类型，而不是无标记的裸BINARY。如果发现是裸BINARY，说明写入端的schema定义本身就没打对UTF8标记，和读端配置无关。
• 快速定位乱码产生的准确环节
  这类乱码的生成逻辑是完全固定的：正常的Schrödinger对应的UTF-8字节流是Schr\xc3\xb6dinger，如果直接把这串字节按Latin-1的字符映射表转成字符串，得到的就是Schrödinger。你可以直接对读出来的乱码值做逆向验证：把乱码字符串按Latin-1编码转回字节，再按UTF-8解码，如果能还原回原本的Schrödinger，就说明文件里存的原始字节是正确的，只是读的时候解码流程走歪了。
  这种场景下不需要改动源文件，在读出DataFrame后对对应字段做一次编解码校正即可，Scala和Python的逻辑完全一致：

  // Scala 实现
  import org.apache.spark.sql.functions.expr
  val fixedDF = rawDF.withColumn(
    "title",
    expr("decode(encode(title, 'ISO-8859-1'), 'UTF-8')")
  )
  

  # PySpark 实现
  from pyspark.sql.functions import expr
  fixed_df = raw_df.withColumn(
      "title",
      expr("decode(encode(title, 'ISO-8859-1'), 'UTF-8')")
  )
  

• 从根源修复写入端的schema问题
  不少团队自定义Parquet写入工具时，会手动把字符串字段声明为BINARY类型，只在注释里标个UTF8，实际上没给Parquet文件元数据写入对应的字符串逻辑类型标记。这种情况下Spark读出来的字段类型是BinaryType而不是默认的StringType，如果下游代码自动对二进制类型做了默认编码转换，就会触发前面说的错位编码问题。
  遇到这种场景不要只在读取端做转换兜底，要修正写入端的schema：把title字段从裸BINARY改成Parquet原生支持的STRING类型，让Spark读取时自动用UTF-8规则解码，根本不需要额外配置编码。
• 排查环境JVM的默认编码问题
  如果前面两步确认schema是正确的原生STRING类型，还是出现乱码，就检查Spark driver和executor的JVM启动参数里的file.encoding配置：很多默认Linux环境下这个参数值是ANSI_X3.4-1968（纯ASCII），不是UTF-8。虽然Parquet原生的字符串解析不会调用这个参数，但如果写入端用的是旧版Parquet写入库，序列化字符串时调用了JVM默认编码，就会把本该是UTF-8的字节流转义成带乱码的内容存到文件里。这种情况下需要在Spark配置里加上对应参数，重启运行环境后再验证：

  spark.driver.extraJavaOptions=-Dfile.encoding=UTF-8
  spark.executor.extraJavaOptions=-Dfile.encoding=UTF-8
  

常见避坑点 #

• 不要盲目把读取文本、CSV文件用的encoding=UTF-8配置塞到Parquet的读取选项里，这类配置对Parquet的解析逻辑完全不生效，加了也没有任何作用，这也是很多人强制指定UTF-8没用的核心原因。
• 遇到特殊字符乱码时，优先用字节逆向还原的方式定位错位环节，不要上来就全链路改编码配置，很容易把原本正常的字符串搞成新的乱码。

内容的提问来源于stack exchange，提问作者Zaryab