序列化Avro消息时如何传递Null值及处理Map字段空值报错

问题根因 #

你当前定义的Schema规则union{null, map<string>} map仅允许整个Map字段本身为null，未允许Map内部的Value值为null。其中map<string>声明了该Map的所有Value必须为非空的string类型，因此当客户端传入的Map存在Null值时，Avro序列化过程会触发空指针异常。

解决方案 #

方案1：直接修改Schema规则（推荐，无需修改业务逻辑） #

可以通过调整Schema定义允许Map内部Value为空，修改后的字段定义如下：

union{null, map<union{null, string}>} map;

该定义同时兼容两种场景：整个Map字段为null、Map存在Value为null的键值对，不需要修改业务接收和发送逻辑，正常注册到Schema Registry即可生效。

方案2：业务逻辑前置处理（不改Schema的备选方案） #

如果不想调整现有Schema，可以在发送Kafka消息前增加预处理逻辑：

• 遍历Map过滤掉所有Value为null的键值对
• 或者将null值替换为自定义占位符（比如空字符串""、"null"字符串等）

注意事项 #

如果选择修改Schema，需确认Schema Registry的兼容性策略：默认的BACKWARD兼容性规则允许给原有类型增加null可选的Union类型，不会触发兼容性报错，可以正常注册新版本Schema。

内容的提问来源于stack exchange，提问作者Marcin_S