如何去除Kafka Schema Registry中Debezium同步的冗余Schema信息？

核心原因 #

Debezium默认会将MongoDB中的嵌套文档解析为独立的Avro Record类型，并注册到Schema Registry，这会导致大量子Schema被创建，进而引发版本数量超出预期的问题。

具体解决方案 #

1. 调整Debezium连接器的Schema生成配置

在MongoDB连接器的配置中添加以下参数，禁用嵌套结构生成独立Schema：

schema.generator.nested.structs=false

该配置会将嵌套文档的字段扁平化为父Schema中的顶级字段（格式如content.text_representation.language），从而避免生成独立的子Record Schema。

2. 使用Avro转换器的扁平模式

如果使用Confluent的Avro转换器，可通过以下配置强制Schema生成器采用扁平模式：

value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=http://your-schema-registry:8081
value.converter.schema.generator.mode=flat

此模式下，所有嵌套结构都会被内联到父Schema中，不会生成独立的子Schema条目。

3. 过滤不需要的嵌套字段

如果某些嵌套字段本身就是无用数据，可通过Debezium的Filter变换直接过滤掉这些字段，从根源上避免对应的Schema生成：

transforms=filterUnwanted
transforms.filterUnwanted.type=org.apache.kafka.connect.transforms.Filter$Value
transforms.filterUnwanted.filter.condition=value.content.text_representation is null
transforms.filterUnwanted.filter.type=exclude

根据实际需求调整过滤条件，移除不需要的嵌套字段。

注意事项 #

• 修改配置后需要重启Debezium连接器才能生效。
• 扁平模式可能会导致Schema字段数量增多，但能有效减少独立Schema的版本数量，需根据业务场景权衡。

内容的提问来源于stack exchange，提问作者Randomize