合并88个JSON文件至DataFrame时字段类型冲突解决方案

读取JSON时显式指定固定Schema是该场景下的最优选择，稳定性、性能、可维护性全面优于合并单文件的方案，具体落地逻辑如下：

• 核心收益：从根源解决类型冲突问题。提前基于业务规则定义全量字段的固定类型，所有文件读取时统一按预设Schema做类型解析，完全避免Spark自动类型推断的不确定性——不会再出现前期字段全为空被推断为string、后续出现有效值被识别为boolean导致的unionByName类型校验失败。
• 性能远优于单文件合并方案：
  • 758MB总规模的JSON在Spark体系下属于极小批量数据集，完全不需要做单文件合并的冗余IO操作。你只需要把所有下载完成的JSON文件存到同一个目录下，直接通过通配符路径传入读取接口，Spark会自动并行调度Task读取所有小文件，内部完成数据合并，比你手动循环读取再逐个调用unionByName的效率高30%以上，省掉了手动合并文件的磁盘、网络开销。
  • 提前指定Schema后，Spark读取时不需要额外抽样扫描文件做类型推断，直接跳过Schema推断环节，读取速度比默认自动推断模式更快。
• 具体实现参考（PySpark/Databricks环境）：

from pyspark.sql.types import StructType, StructField, StringType, BooleanType, LongType, DoubleType

# 按实际业务字段定义完整Schema，类型冲突字段按真实业务类型设置即可
# 如果存在脏数据兼容需求，可将易冲突字段统一设为StringType，读取完成后再做类型清洗
fixed_schema = StructType([
    StructField("user_id", StringType(), nullable=True),
    StructField("is_vip", BooleanType(), nullable=True), # 替换为你实际出现类型冲突的字段
    StructField("order_count", LongType(), nullable=True),
    StructField("pay_amount", DoubleType(), nullable=True),
    # 补全所有业务字段即可
])

# 直接读取目录下所有JSON文件，Spark自动并行加载合并
df = spark.read.schema(fixed_schema).json("/dbfs/path/to/your/saved/json/files/*.json")

• 兜底兼容方案：如果不确定个别字段是否存在跨类型脏数据，直接将对应字段统一指定为StringType，读取完成后再通过cast、when/otherwise逻辑做按需类型转换，转换过程中可以自定义异常值处理规则，不会出现任务中断。

• 额外开销高：88个文件合并为单文件需要做一次全量数据的读写IO，且单个758MB的JSON文件不支持分片并行读取，Spark读取时只能启动单个Task拉取全量数据，极易触发单节点内存瓶颈，读取速度比并行读多个小文件慢数倍。
• 未解决根本问题：就算合并为单文件，只要使用默认自动类型推断逻辑，依然可能出现字段前半段全为空、后半段出现其他类型值导致的解析异常，没有从根源解决类型冲突问题。

如果你需要保留边调用API拉取分页数据、边落盘边合并的流式处理逻辑，不需要等所有文件下载完成再处理，只需要保证每次读取单个分页JSON文件时都传入同一个固定Schema，调用unionByName时加上allowMissingColumns=True参数，就算个别分页返回字段有缺失也不会报错，全程不会出现类型冲突问题。

内容的提问来源于stack exchange，提问作者Lynchie