如何将多台Kafka服务器的数据推送至另一台Kafka Broker？

1. Kafka MirrorMaker 2.0（官方推荐） #

这是Apache Kafka官方提供的跨集群数据镜像工具，专门用于单向/双向的集群数据同步，能自动管理主题创建、分区同步、偏移量跟踪等核心逻辑，适配大多数场景。

• 部署方式：在Kafka3集群或独立节点部署MirrorMaker2，配置源集群为Kafka1、Kafka2，目标集群为Kafka3，指定需要同步的主题（支持通配符批量匹配）。
• 核心配置片段：

# 源集群定义
source.clusters=kafka1,kafka2
kafka1.bootstrap.servers=xxx.xxx.xxx.1:9092
kafka2.bootstrap.servers=xxx.xxx.xxx.2:9092

# 目标集群定义
target.cluster=kafka3
kafka3.bootstrap.servers=xxx.xxx.xxx.3:9092

# 同步主题规则（同步所有主题）
topics=.*

2. Kafka Connect 同步 #

利用Kafka Connect的源-汇连接器组合实现数据转发：

• 部署Kafka Connect集群，分别为Kafka1、Kafka2配置KafkaSourceConnector，订阅需要同步的主题；
• 配置KafkaSinkConnector将读取到的消息写入Kafka3的对应主题，可通过配置实现主题映射、数据格式转换等需求。

3. 自定义转发程序 #

如果有特殊业务逻辑需求，可编写自定义程序实现：

• 分别创建Kafka1、Kafka2的消费者实例，订阅目标主题；
• 消费到消息后，通过Kafka3的生产者实例将消息发送至对应主题，可在转发过程中加入自定义的数据处理逻辑。

注意事项 #

• 确保Kafka3的磁盘容量、IO性能能承载同步过来的数据流量；
• 调整同步的线程数、批次大小等参数，避免对源集群或目标集群造成性能冲击；
• 配置可靠的消息确认机制（如acks=all），保障数据同步的可靠性。

内容的提问来源于stack exchange，提问作者ajsg