PySpark读取多Parquet文件时Schema不兼容问题求助

问题分析 #

你遇到的核心问题是：指定Schema后，Spark的惰性求值机制会延迟实际文件读取操作，当过滤特定日期文件时，才发现该文件的adjustment列类型（INT64）与指定Schema的string类型冲突，导致报错。指定Schema、cache/persist无法解决，因为这些操作并未改变文件读取时的Schema校验逻辑。

最优解决方案 #

1. 启用mergeSchema自动合并Schema #

Spark提供mergeSchema参数，可自动合并所有Parquet文件的Schema，将列类型统一为兼容的最宽泛类型（比如int和string会自动转为string），避免类型冲突。

代码示例：

from pyspark.sql.functions import split, input_file_name, col

# 先启用mergeSchema读取所有文件，自动合并Schema
df_raw = spark.read.option("mergeSchema", "true").parquet(*files)

# 按需将目标列转换为你需要的最终类型（比如确保adjustment是string）
df = df_raw.withColumn("adjustment", col("adjustment").cast("string")) \
           .withColumn("file_name", split(input_file_name(), "/").getItem(8))

这个方法无需逐个读取文件，效率远高于循环Union，且能自动处理所有列的类型差异。

2. 结合Schema指定与容错模式（可选） #

如果必须提前指定Schema，可配合mode="PERMISSIVE"模式，将不符合Schema的记录字段设为null（而非直接报错），之后再处理这些null值：

from pyspark.sql.types import StringType, StructType, StructField # 导入你的Schema定义

df = spark.read.schema(schema) \
          .option("mode", "PERMISSIVE") \
          .parquet(*files) \
          .withColumn("file_name", split(input_file_name(), "/").getItem(8))

# 后续可对adjustment列的null值进行补全或转换
df = df.withColumn("adjustment", col("adjustment").cast(StringType()))

注意：PERMISSIVE模式会将类型不匹配的字段设为null，适合需要严格遵循初始Schema且可接受临时null值的场景。

3. 优化版逐个读取Union（如果mergeSchema不适用） #

如果mergeSchema无法满足需求，可通过批量Union优化循环读取的效率：

from pyspark.sql import DataFrame

dfs = []
for file in files:
    # 读取单个文件
    single_df = spark.read.parquet(file)
    # 转换adjustment列到目标类型
    single_df = single_df.withColumn("adjustment", col("adjustment").cast("string")) \
                         .withColumn("file_name", split(input_file_name(), "/").getItem(8))
    dfs.append(single_df)

# 批量Union，比循环逐个Union效率更高
final_df = spark.createDataFrame([], dfs[0].schema)
for df in dfs:
    final_df = final_df.unionByName(df)

关键说明 #

• mergeSchema是处理多Parquet文件Schema不一致的最优方案，Spark会自动扫描所有文件的Schema并合并，无需手动处理每一列。
• 惰性求值导致的报错本质是：指定Schema后，Spark在实际读取文件时才校验类型，而mergeSchema会提前合并Schema，避免后续过滤时的冲突。

内容的提问来源于stack exchange，提问作者JFlo