Kafka MirrorMaker2未复制__开头内部主题,需添加哪些配置?
Kafka MirrorMaker 2 复制内部主题配置方案
默认情况下,Kafka MirrorMaker 2(MM2)会自动排除以__开头的内部主题——这是因为exclude.internal.topics参数默认设为true,同时默认的主题过滤规则也不会匹配这类主题。要实现全量复制(包括内部主题),需要调整以下关键配置:
核心配置修改
在你的MM2配置文件(通常为mm2.properties)中添加/修改以下参数:
关闭内部主题排除规则
设置全局参数,允许MM2处理内部主题:exclude.internal.topics=false配置全量主题匹配规则
通过topics或topic.include参数指定复制所有主题(包括__开头的):# 方式1:直接指定匹配所有主题 topics=.* # 方式2:使用include规则匹配所有主题 topic.include=.*
可选:仅复制特定内部主题
如果不需要全量复制,只想复制__test-internal-topic-mm2这类特定内部主题,可以调整规则为:
# 同时复制目标内部主题和其他非内部主题 topics=__test-internal-topic-mm2,.* # 或者精准匹配目标内部主题+普通主题 topic.include=__test-internal-topic-mm2|^[^__].*
注意事项
- 对于Kafka原生系统内部主题(如
__consumer_offsets、__transaction_state),复制前需确保源和目标集群的Kafka版本兼容,避免出现元数据不一致问题。 - 修改配置后必须重启MM2服务,新配置才能生效。
内容的提问来源于stack exchange,提问作者Shubham Garg
相关产品推荐
相关产品推荐

