使用Apache Beam ParquetIO读取Parquet文件的Avro Schema异常问题

问题原因梳理 #

• 初始java.lang.NullPointerException是因为Avro Schema未包含null类型，无法处理Parquet文件中的空值字段
• 后续org.apache.avro.UnresolvedUnionException源于Avro 1.8.2解析联合类型时，对Fixed类型的全限定名匹配要求严格，而Schema未正确指定namespace，导致Avro无法定位对应类型

解决方案步骤 #

1. 修正Avro Schema的Fixed类型定义 #

必须为Fixed类型明确指定namespace，确保和Parquet文件元数据中的类型全限定名完全一致。示例JSON Schema：

{
  "type": "record",
  "name": "MyRecord",
  "namespace": "com.namespace",
  "fields": [
    {
      "name": "myfield",
      "type": [
        "null",
        {
          "type": "fixed",
          "name": "myfield",
          "namespace": "com.namespace",
          "size": 16
        }
      ]
    }
  ]
}

如果用Java代码构建Schema，推荐使用SchemaBuilder避免手动拼接错误：

import org.apache.avro.Schema;
import org.apache.avro.SchemaBuilder;

// 构建带namespace的Fixed类型
Schema fixedType = SchemaBuilder.fixed("myfield")
    .namespace("com.namespace")
    .size(16);

// 构建null+fixed的联合类型
Schema unionType = SchemaBuilder.unionOf()
    .nullType()
    .and()
    .type(fixedType)
    .endUnion();

// 构建完整Record Schema
Schema recordSchema = SchemaBuilder.record("MyRecord")
    .namespace("com.namespace")
    .fields()
    .name("myfield")
    .type(unionType)
    .noDefault()
    .endRecord();

2. 校验Parquet文件的元数据 #

使用Parquet工具查看文件的Schema元数据，确认Fixed类型的全限定名（如com.namespace.myfield）和你定义的Avro Schema完全匹配。如果Parquet文件中的Fixed类型无namespace，需重新生成文件时指定正确的Schema。

3. 版本兼容性优化 #

• Avro 1.8.2存在联合类型解析bug，建议升级到Avro 1.8.3或更高版本，该版本修复了部分Union类型匹配逻辑
• 同时可考虑升级Beam到2.20.0+，后续版本对ParquetIO的Avro类型映射做了优化，减少兼容性问题

4. 调试技巧 #

在Avro的resolveUnion方法处添加断点，查看Avro尝试查找的类型全限定名，对比自身Schema定义，快速定位namespace不匹配的问题

内容的提问来源于stack exchange，提问作者GradviusMars