使用Python Avro 1.8.2库：如何为Avro联合类型无歧义指定数据？

针对你这个包含两个Record类型的联合字段场景，因为这两个类型都是对象结构，Avro库无法通过值自动区分你要使用哪一种，所以必须显式带上类型标识来消除歧义。下面是具体的实现步骤和代码示例：

1. 先补全你的Schema（方便演示） #

首先把你未写完的Schema补全（假设ConcatenatedFullName包含一个full_name字符串字段）：

{
  "type": "record",
  "namespace": "com.example",
  "name": "NameUnion",
  "fields": [
    {
      "name": "name",
      "type": [
        {
          "type": "record",
          "namespace": "com.example",
          "name": "FullName",
          "fields": [
            {"name": "first", "type": "string"},
            {"name": "last", "type": "string"}
          ]
        },
        {
          "type": "record",
          "namespace": "com.example",
          "name": "ConcatenatedFullName",
          "fields": [
            {"name": "full_name", "type": "string"}
          ]
        }
      ]
    }
  ]
}

2. 显式标记联合类型的数据结构 #

在构造数据时，你需要用{"type": "<完整类型名>", "value": <对应类型的数据>}的格式来明确指定使用联合中的哪一种类型：

• 对于FullName类型：

  full_name_data = {
      "type": "com.example.FullName",
      "value": {"first": "Alice", "last": "Smith"}
  }
  

• 对于ConcatenatedFullName类型：

  concat_name_data = {
      "type": "com.example.ConcatenatedFullName",
      "value": {"full_name": "Bob Johnson"}
  }
  

3. 完整的序列化/反序列化示例 #

下面是完整的Python代码，演示如何使用这种方式序列化和验证数据：

import avro.schema
from avro.datafile import DataFileReader, DataFileWriter
from avro.io import DatumReader, DatumWriter

# 加载Schema
schema = avro.schema.parse(open("name_union.avsc", "r").read())

# 构造两种联合类型的数据
data1 = {"name": {"type": "com.example.FullName", "value": {"first": "Alice", "last": "Smith"}}}
data2 = {"name": {"type": "com.example.ConcatenatedFullName", "value": {"full_name": "Bob Johnson"}}}

# 序列化数据到文件
with open("name_union.avro", "wb") as f:
    writer = DataFileWriter(f, DatumWriter(), schema)
    writer.append(data1)
    writer.append(data2)
    writer.close()

# 反序列化验证结果
with open("name_union.avro", "rb") as f:
    reader = DataFileReader(f, DatumReader())
    for datum in reader:
        print(datum)
    reader.close()

关键说明 #

• 为什么必须显式标记？因为两个类型都是Record（对象结构），Avro无法通过值的格式自动判断你要的是哪一种，直接传不带类型标记的对象会被默认解析为联合列表中的第一个类型，导致歧义或错误。
• 类型名必须使用完整的命名空间+类型名（比如com.example.FullName），如果你的Schema中没有指定namespace，直接用类型名即可。

内容的提问来源于stack exchange，提问作者mvallebr