为什么添加null联合后Avro string字段需指定avro.java.string类型

问题根因 #

Avro的反序列化逻辑会根据字段类型切换数据模型：

• 当Invoice.message为普通array<Message>类型时，反序列化默认使用SpecificData模型，会优先读取avro-maven-plugin配置的<stringType>String</stringType>规则，自动将字符串转为Java String类型，因此不会报错。
• 当Invoice.message改为union{null, array<Message>}联合类型后，1.10.2版本的Avro反序列化会默认fallback到GenericData通用模型，该模型不会读取maven插件的全局配置，默认将Avro字符串解析为org.apache.avro.util.Utf8类型，因此直接强转String会抛出类型转换异常。

是否需要为所有string声明avro.java.string配置 #

如果你的业务场景存在以下任意一种情况，建议全局添加该配置保证兼容性：

• 存在包含null的联合类型字段
• 有使用GenericRecord接收数据的逻辑
• 存在跨服务、跨语言的schema共享场景
  如果所有消费逻辑均使用生成的SpecificRecord类、且无联合类型嵌套的复杂结构，仅靠maven插件的全局配置即可正常运行，但从长期兼容性考虑，统一添加该配置更稳妥，避免后续出现同类问题。

Avro IDL中添加avro.java.string配置的方法 #

Avro IDL支持通过@属性名(值)的语法为类型添加自定义元信息，你可以直接在string类型后追加注解：

普通string字段示例 #

record Message{
    MessageId id;
    string @avro.java.string("String") content;
}

数组元素为string的示例（对应你的场景） #

record Message{
    MessageId id;
    array<string @avro.java.string("String")> dataField;
}

添加后生成的Avro schema会自动携带"avro.java.string" : "String"属性，无论使用Specific还是Generic模型反序列化，都会将字符串转为Java String类型。

替代解决方案 #

如果不想修改所有IDL的string类型配置，也可以在Kafka消费者配置中添加以下参数，强制使用SpecificData模型反序列化：

specific.avro.reader=true

开启后即使是联合类型字段，也会按照生成的SpecificRecord类的schema规则反序列化，自动将Utf8转为String类型。

内容的提问来源于stack exchange，提问作者Timbuck