如何避免PySpark将Parquet文件表头记录识别为普通行而非表头？

核心原因 #

Parquet是列式存储的二进制格式，自带完整元数据（包括列名、数据类型），header和inferSchema参数是给CSV、TXT这类无结构文本格式设计的，对Parquet完全无效。

你自行生成的Parquet能正常读取列名，是因为Spark写入Parquet时，会自动把DataFrame的列名和Schema存入文件元数据。而你的Order.parquet文件元数据中没有存储列名信息，所以Spark只能用默认的Prop_0、Prop_1命名列。

解决办法 #

1. 手动指定Schema读取

如果你知道11列的正确列名和数据类型，直接定义Schema后读取：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType, DoubleType

# 根据实际列名、类型修改
custom_schema = StructType([
    StructField("列名1", StringType(), nullable=True),
    StructField("列名2", IntegerType(), nullable=True),
    # 依次添加剩余9列
    StructField("列名11", DoubleType(), nullable=True)
])

# 指定Schema读取
df = spark.read.schema(custom_schema).parquet("/FileStore/tables/Order.parquet")
df.show()

2. 检查并修复Parquet元数据

先查看当前读取到的Schema，确认是否真的无列名信息：

spark.read.parquet("/FileStore/tables/Order.parquet").printSchema()

如果输出全是Prop_*，说明该Parquet生成时未保留列名（大概率是从CSV等格式转换时未指定Schema）。需重新生成Parquet：

# 假设原数据是CSV，先正确读取源文件
csv_df = spark.read.format("csv") \
    .option("header", True) \
    .schema(custom_schema) \
    .load("/path/to/source.csv")

# 写入Parquet，此时列名会被存入元数据
csv_df.write.parquet("/FileStore/tables/Order_fixed.parquet", mode="overwrite")

# 重新读取即可获取正确列名
spark.read.parquet("/FileStore/tables/Order_fixed.parquet").show()

3. 用Databricks工具查看元数据

在Databricks社区版中，右键点击Parquet文件选择Preview，可直接查看文件元数据。如果预览中也无列名，必须通过手动指定Schema映射。

内容的提问来源于stack exchange，提问作者moonchild