Avro Schema演进：如何手动将v1 GenericRecord迁移至兼容v2？

场景回顾 #

• Foo(v1)：仅包含必填字段foo
• Foo(v2)：包含必填字段foo，新增可选字段bar
• 兼容性已验证：v2可读取v1数据，bar自动设为null
• 当前已有GenericData.Record(v1)实例，foo="value"，需不经过编解码生成v2版本记录（foo="value"、bar=null），此前newRecord+deepCopy组合尝试失败

可行方案 #

可以直接在记录层面手动完成迁移，无需编解码，核心逻辑是基于v2 Schema创建新的GenericRecord，复制v1记录中已存在的字段值，未设置的可选字段会由Avro自动处理为null。

Java代码示例 #

// 预定义的v1、v2 Schema实例
Schema schemaV1 = ...;
Schema schemaV2 = ...;

// 已有的v1版本记录
GenericData.Record recordV1 = new GenericData.Record(schemaV1);
recordV1.put("foo", "value");

// 创建v2版本的空记录
GenericData.Record recordV2 = new GenericData.Record(schemaV2);

// 复制v1中所有字段的值到v2记录
for (Field field : schemaV1.getFields()) {
    recordV2.put(field.name(), recordV1.get(field.name()));
}

// 此时recordV2的foo字段为"value"，bar字段自动为null，符合需求

原方案失败原因 #

GenericData.deepCopy是严格基于源Schema进行字段复制的，它只会处理源Schema中定义的字段，不会主动为目标Schema的新增字段填充默认值。而直接创建v2记录并复制已有字段，Avro的GenericRecord会遵循Schema规则，对未显式设置的可选字段自动返回null。

扩展说明 #

如果v2的bar字段在Schema中定义了非null的默认值，这种方式也会自动使用该默认值，完全符合Avro的兼容性规范。

内容的提问来源于stack exchange，提问作者Jan Galinski