使用MirrorMaker 2传输Avro格式主题:能否覆盖转换器配置?
MirrorMaker 2 替换为Avro转换器的可行性说明
当然可以把配置里的ByteArrayConverter替换成Avro对应的转换器,MirrorMaker 2基于Kafka Connect搭建,完全支持用Avro格式传输Kafka主题消息。
替换后的配置示例如下:
'key.converter'= 'io.confluent.connect.avro.AvroConverter', 'value.converter'= 'io.confluent.connect.avro.AvroConverter', 'key.converter.schema.registry.url'= 'http://你的SchemaRegistry服务地址:端口', 'value.converter.schema.registry.url'= 'http://你的SchemaRegistry服务地址:端口'
需要注意几点:
- 必须先部署并启动Confluent Schema Registry,Avro转换器依赖它来管理消息的Schema元数据,没有它的话转换器无法正常工作
- 源端和目标端的MirrorMaker 2配置都要指定正确的Schema Registry地址,保证两端能顺利获取和校验Schema信息
- 如果源主题的消息本身就是Avro格式,替换后就能直接解析传输;如果是其他格式,得确保转换器能兼容处理,或者先做格式转换
内容的提问来源于stack exchange,提问作者roman_
相关产品推荐
相关产品推荐

