如何解决Kafka Schema Registry中Avro缺失字段导致消息被丢弃的问题

要让缺失my_field的消息正常被处理而不被丢弃，你需要在Avro字段定义里加上default: null属性，修改后的Schema如下：

{"name": "my_field", "type": ["string", "null"], "default": null}

核心原因 #

Avro默认要求所有声明的字段必须存在于消息中，除非你显式指定该字段的默认值。当字段缺失时，序列化/反序列化器会自动用你设置的默认值（这里是null）填充该字段，而非直接丢弃整条消息。

额外注意点 #

• 如果你用的是Confluent的Kafka Avro序列化/反序列化器，无需额外开启严格模式（默认是宽松处理逻辑），但如果手动配置过严格校验参数，需要调整回宽松模式。
• 若通过Debezium这类工具从MongoDB同步数据到Kafka，确保工具配置未强制要求字段必须存在，但核心解决逻辑还是Avro Schema的默认值设置。

内容的提问来源于stack exchange，提问作者Vlad Aleshin