如何用Java通过POJO生成含default:null的Avro Schema文件？

问题描述 #

我正在参考Jackson Avro相关文档，尝试用POJO生成Avro Schema文件。目前已通过以下代码生成文件，但不知道如何为每个对象字段添加"default" : null属性：

ObjectMapper mapper = new ObjectMapper(new AvroFactory());
AvroSchemaGenerator gen = new AvroSchemaGenerator();
mapper.acceptJsonFormatVisitor(SampleObject.class, gen);
AvroSchema schemaWrapper = gen.getGeneratedSchema();

org.apache.avro.Schema avroSchema = schemaWrapper.getAvroSchema();
String asJson = avroSchema.toString(true);
// ... (omitted) save string to .avsc file

当前生成的字段格式：

...
{
  "name" : "fieldName",
  "type" : [ "null", "string" ]
},...

期望的字段格式：

...
{
  "name" : "fieldName",
  "type" : [ "null", "string" ],
  "default" : null
},...

仅通过POJO类转换为Avro Schema文件，如何实现为所有字段添加"default" : null？

解决方法 #

方法1：通过注解单个配置字段 #

在POJO的目标字段上添加注解，直接指定默认值：

• 方式A：使用@JsonProperty：

  public class SampleObject {
      @JsonProperty(defaultValue = "null")
      private String fieldName;
  }
  

• 方式B：使用@AvroSchema直接定义字段Schema：
  适合需要精确控制字段Schema的场景：

  public class SampleObject {
      @AvroSchema("{\"name\":\"fieldName\",\"type\":[\"null\",\"string\"],\"default\":null}")
      private String fieldName;
  }
  

方法2：全局批量添加默认值 #

如果需要给所有含null的联合类型字段自动添加default: null，可以通过以下两种方式实现：

方案A：生成Schema后遍历修改

生成Schema对象后，遍历所有字段，为符合条件的字段添加默认值：

ObjectMapper mapper = new ObjectMapper(new AvroFactory());
AvroSchemaGenerator gen = new AvroSchemaGenerator();
mapper.acceptJsonFormatVisitor(SampleObject.class, gen);
AvroSchema schemaWrapper = gen.getGeneratedSchema();
org.apache.avro.Schema avroSchema = schemaWrapper.getAvroSchema();

// 遍历所有字段，为含null的联合类型字段添加default: null
for (org.apache.avro.Schema.Field field : avroSchema.getFields()) {
    org.apache.avro.Schema fieldType = field.schema();
    if (fieldType.getType() == org.apache.avro.Schema.Type.UNION 
        && fieldType.getTypes().stream().anyMatch(t -> t.getType() == org.apache.avro.Schema.Type.NULL)) {
        field.addProp("default", null);
    }
}

String asJson = avroSchema.toString(true);
// 保存asJson到.avsc文件

方案B：自定义AvroSchemaGenerator

继承AvroSchemaGenerator重写字段生成逻辑，在生成字段时自动添加默认值：

public class DefaultNullAvroSchemaGenerator extends AvroSchemaGenerator {
    @Override
    protected void _addField(String name, JsonFormatVisitable handler, JavaType propertyType) throws JsonMappingException {
        super._addField(name, handler, propertyType);
        // 获取刚生成的字段
        List<org.apache.avro.Schema.Field> fields = getGeneratedSchema().getAvroSchema().getFields();
        org.apache.avro.Schema.Field lastField = fields.get(fields.size() - 1);
        org.apache.avro.Schema fieldType = lastField.schema();
        
        // 判断字段类型是否为包含null的联合类型
        if (fieldType.getType() == org.apache.avro.Schema.Type.UNION 
            && fieldType.getTypes().stream().anyMatch(t -> t.getType() == org.apache.avro.Schema.Type.NULL)) {
            lastField.addProp("default", null);
        }
    }
}

// 使用自定义生成器生成Schema
ObjectMapper mapper = new ObjectMapper(new AvroFactory());
DefaultNullAvroSchemaGenerator gen = new DefaultNullAvroSchemaGenerator();
mapper.acceptJsonFormatVisitor(SampleObject.class, gen);
AvroSchema schemaWrapper = gen.getGeneratedSchema();
org.apache.avro.Schema avroSchema = schemaWrapper.getAvroSchema();
String asJson = avroSchema.toString(true);

注意事项 #

• Avro规范中，只有当字段类型是包含null的联合类型时，default: null才合法，能让字段在序列化时可省略。
• 确保Jackson核心库与jackson-dataformats-binary版本一致，避免兼容性问题。

内容的提问来源于stack exchange，提问作者jpizarra