PySpark读取Parquet文件列名丢失及Schema失效问题求助

核心误区说明 #

header=true和inferSchema=true是CSV/文本格式的专属读取选项，对Parquet文件完全无效。Parquet作为列式存储格式，本身已经内置了Schema元数据，读取时会直接使用这些元数据，不会去解析所谓的"第一行列头"。

分步解决方法 #

1. 先确认Parquet文件的原始Schema

首先要搞清楚这个Parquet文件本身到底有没有存储你预期的列名，执行以下代码查看原始Schema：

# 直接读取Parquet文件，不添加多余选项
raw_parquet = spark.read.parquet(directory_path)
raw_parquet.printSchema()

• 如果输出的Schema就是_c0、_c1这类默认命名，说明这个Parquet文件在生成时就没有写入正确的列名（比如从CSV转Parquet时没加header=true）。
• 如果输出的Schema有你预期的列名，那说明之前的读取代码没正确触发元数据加载，直接用这个raw_parquet即可。

2. 解决自定义Schema导致全Null的问题

自定义Schema后出现全Null，99%是因为你的自定义Schema和Parquet文件的原始Schema不匹配：

• 字段名称不对应（比如你定义user_id，但Parquet里是_c0）
• 字段类型不匹配（比如你定义IntegerType，但Parquet里是StringType）
• 字段顺序不一致（Parquet默认按字段位置匹配，不是名称）

正确的处理方式：

方式一：读取后重命名字段

如果原始Schema是默认的_c0系列命名，直接手动重命名即可：

# 方法1：一次性批量重命名
renamed_df = raw_parquet.toDF("列名1", "列名2", "列名3", "列名4")

# 方法2：逐个重命名（适合字段多的情况）
renamed_df = raw_parquet.withColumnRenamed("_c0", "列名1") \
                        .withColumnRenamed("_c1", "列名2") \
                        .withColumnRenamed("_c2", "列名3") \
                        .withColumnRenamed("_c3", "列名4")

renamed_df.printSchema()

方式二：严格匹配原始Schema自定义

如果必须提前指定Schema，要完全对齐Parquet的原始Schema（名称、类型、顺序都要一致）：

from pyspark.sql.types import StructType, StructField, StringType

# 先通过raw_parquet.printSchema()拿到原始类型，比如都是StringType
custom_schema = StructType([
    StructField("_c0", StringType(), nullable=True),
    StructField("_c1", StringType(), nullable=True),
    StructField("_c2", StringType(), nullable=True),
    StructField("_c3", StringType(), nullable=True)
])

# 用匹配的Schema读取
parquet_file = spark.read.schema(custom_schema).parquet(directory_path)

如果想让Spark按字段名称匹配而非位置，可以添加配置（不推荐，会降低读取性能）：

spark.conf.set("spark.sql.parquet.enableVectorizedReader", "false")
parquet_file = spark.read.schema(custom_schema).parquet(directory_path)

3. 回溯Parquet文件生成环节（可选）

如果这个Parquet是从其他格式（比如CSV）转换而来的，检查转换代码是否正确保留了列头：

# 正确的CSV转Parquet方式，要加header=true
csv_df = spark.read.csv(csv_path, header=True, inferSchema=True)
csv_df.write.parquet(parquet_output_path)

这样生成的Parquet文件会自带正确的列名Schema，后续读取时直接用spark.read.parquet()即可。

内容的提问来源于stack exchange，提问作者Off Grid