PySpark读取Parquet调用printSchema()时缺失isdeleted字段问题

架构老林

2026-8-28

问题原因

Spark读取Parquet文件时默认不开启全量Schema合并，仅会读取路径下排序后第一个Parquet文件的Footer元数据推导整个数据集的Schema，结合你输出的Schema全为学生表字段（student_name、marks等）和product路径预期不符的表现，常见原因有以下几类：

路径下文件混杂：s3路径下同时存在早期写入的学生表Parquet文件、以及后续写入的带isdeleted字段的product表文件，Spark读取时取到了排序在前的学生表文件作为Schema推导依据，自然缺失product表的isdeleted字段，甚至整个Schema都和预期表不匹配。
表Schema演进未配置合并：路径下都是product表文件，但早期写入的第一批文件没有isdeleted字段（后续业务迭代新增的boolean类型isdeleted列，写入了新的Parquet文件），因为默认关闭Schema合并，Spark只拿最早的无该字段的文件推导Schema，导致字段缺失。
Hive元数据未同步：如果该路径关联了Hive外表，Hive元数据中存储的表Schema没有更新新增的isdeleted字段，且Spark配置为优先使用Hive元数据的Schema读取时，也会出现字段缺失。
字段名存在不可见字符：写入isdeleted字段时，字段名携带了空格、换行符等不可见控制字符，实际字段名和预期不一致，导致你误以为字段缺失。

排查步骤

先验证字段真实存在：从路径下找一个最新写入的Parquet文件，传入完整文件路径单独读取并打印Schema，确认该文件内确实存在boolean类型的isdeleted字段。
列路径下全量文件：检查s3路径下是否存在和product表无关的学生表文件，确认是否存在文件错放的问题。
校验字段名：读取单个带isdeleted字段的文件后，打印所有字段名的字符长度、逐字符校验，确认不存在隐藏的不可见字符。

解决方法

针对文件混杂问题：清理路径下不属于product表的无关文件，保证路径下所有Parquet文件均属于同一张表即可。
针对Schema演进未合并问题：读取时开启Parquet Schema合并配置，支持两种配置方式：
1. 读取时单独为当前任务指定配置：
```
val products = sqlContext.read
  .option("mergeSchema", "true")
  .format("parquet")
  .load("s3a://bucketname/parquet/data/product")
```
1. 全局Spark配置开启：
```
val spark = SparkSession.builder()
  .config("spark.sql.parquet.mergeSchema", "true")
  .getOrCreate()
```
注意：开启Schema合并需要扫描路径下所有Parquet文件的Footer元数据，当路径下文件量级较大时会降低读取速度，生产环境建议提前对全表做Schema统一重写，不要长期依赖mergeSchema配置。
针对Hive元数据不同步问题：执行ALTER TABLE语句更新Hive表元数据，新增isdeleted boolean字段；或者开启spark.sql.hive.convertMetastoreParquet配置，让Spark直接读取Parquet文件自身的Schema，不依赖Hive元数据存储的Schema信息。
针对字段名带不可见字符问题：写入数据前修正字段名，剔除多余的控制字符、空格，保证字段名和预期完全一致。

内容的提问来源于stack exchange，提问作者Rahul Diggi