PySpark读取S3 Avro文件偶发IncompatibleSchemaException异常咨询

这个偶发类型不兼容报错和checkpoint()操作无关，核心是Spark Avro数据源的默认Schema推导机制，和路径下混合存储多版本Schema文件共同导致的：

• 你读取的S3路径下同时存在两个版本的Avro文件：历史生成的文件中dummy.lat字段为float类型，新生成的文件中该字段为double类型。
• Spark默认不会扫描路径下所有Avro文件来生成全局统一Schema，只会在任务启动时采样少量（默认是路径排序后首个被Driver端拉取元数据的）Avro文件，把该文件的内嵌Schema作为整个读取任务的全局校验标准。
• 因为分布式存储的文件列表返回顺序、Driver端采样的调度存在随机性，就会出现偶发报错：
  • 若采样到新版本double类型的文件作为Schema基准，后续读取到老版本float类型字段时，float向上兼容double，类型校验通过，任务正常运行
  • 若采样到老版本float类型的文件作为Schema基准，后续Task读取到新文件中的double类型字段时，Spark Avro数据源不支持double向float的隐式向下强转，直接抛出你看到的IncompatibleSchemaException。

Spark原生支持Avro文件的Schema自动推断，默认处于开启状态，但默认行为存在明确边界：

• 自动推断的Schema仅来自采样到的少量文件，不会全量扫描路径下所有文件做Schema合并，因此无法自动识别跨文件的Schema差异
• Spark 2.x版本使用外部spark-avro依赖时，默认固定取路径下按文件名排序的首个Avro文件的Schema作为全局Schema；Spark 3.x内置Avro数据源后，默认行为保持一致，仅在手动开启配置时才支持跨文件Schema合并。

• 优先推荐手动指定全版本兼容的Schema读取，稳定性最高、无额外性能开销：读取时显式传入兼容所有历史数据的Avro Schema，将dummy.lat字段定义为double类型，所有老版本的float值可以安全向上转换为double，不会触发类型冲突。示例代码：

# 按实际业务补全所有字段定义，核心保证lat字段类型为double
compatible_schema = """
{
  "type": "record",
  "name": "top_level_record",
  "fields": [
    {"name": "dummy", "type": {
      "type": "record",
      "name": "dummy",
      "fields": [{"name": "lat", "type": "double"}]
    }}
    // 其余业务字段按实际Schema补充
  ]
}
"""
df = spark.read.format("avro") \
    .option("avroSchema", compatible_schema) \
    .load("/path.avro")

• 若使用Spark 3.2及以上版本，可开启跨文件Schema合并配置，让Spark自动推导向上兼容的全局Schema：

df = spark.read.format("avro") \
    .option("mergeSchema", "true") \
    .load("/path.avro")

*注意：该配置会触发Driver端扫描路径下所有Avro文件的元数据，当目录下文件数量较大时会明显拉长任务启动时间，生产环境谨慎使用。

• 一次性修复方案：重写目录下所有历史版本的Avro文件，将dummy.lat字段统一转为double类型，保证目录下所有文件Schema完全一致，即可彻底消除偶发报错。

内容的提问来源于stack exchange，提问作者user16164298