如何正确配置Apache Kafka Mirrormaker2的生产者参数使其生效

问题原因 #

你参考的是最新版本的MM2配置规则，而Kafka 2.7.x版本默认不支持集群级别[集群名].producer.*配置自动继承到跨集群同步流向的生产者实例，所以你原来写的BACKUP.producer.compression.type=lz4不会被实际用到数据同步的生产者上。

解决方案 #

方案1：针对同步流向单独配置（推荐，优先级最高） #

直接给INPUT->BACKUP这个同步流向配置专属生产者参数即可，所有需要自定义的生产者参数都可以按照这个格式书写：

INPUT->BACKUP.producer.compression.type=lz4
# 其他参数示例
INPUT->BACKUP.producer.acks=all
INPUT->BACKUP.producer.batch.size=32768

修改配置后重启MM2，对应数据同步生产者的压缩配置就会生效。

方案2：全局开启目标集群配置继承 #

如果有多个流向都需要往BACKUP集群写入，希望统一应用配置，可以开启集群级别配置的继承开关：

# 开启BACKUP集群的producer配置全局继承
BACKUP.config.producer.override.*=true
BACKUP.producer.compression.type=lz4

注意事项 #

日志里出现的compression.type = none可能是MM2内部心跳生产者、Admin客户端的配置，这两类组件不会使用自定义的生产者参数，只要找到MirrorSourceConnector初始化数据同步生产者的日志行，确认参数为lz4即可。

内容的提问来源于stack exchange，提问作者calloc_org