如何用Docker配置Kafka MirrorMaker 2.0实现跨集群消息复制？

优化后的docker-compose.yml配置 #

你之前的配置存在一个关键问题：给MirrorMaker实例配置了broker和controller角色——MirrorMaker 2.0是基于Kafka Connect的worker，完全不需要启动Kafka broker服务，因此需要移除所有broker/controller相关的环境变量，简化配置如下：

version: '3.8'
services:
  mirrormaker2-worker-1:
    image: apache/kafka:latest
    hostname: mirrormaker2-worker-1
    container_name: mirrormaker2-worker-1
    volumes:
      - ./connect-mirror-maker.properties:/opt/kafka/config/connect-mirror-maker.properties:rw
      # 可选：挂载自定义JVM参数配置文件
      # - ./jvm.config:/opt/kafka/config/jvm.config:rw
    networks:
      - kafka-mirror-network
    environment:
      # 根据业务流量调整JVM内存
      KAFKA_HEAP_OPTS: "-Xms1G -Xmx2G"
    command: ["./bin/connect-mirror-maker.sh", "./config/connect-mirror-maker.properties"]
    restart: unless-stopped

  # 分布式集群新增worker实例
  mirrormaker2-worker-2:
    image: apache/kafka:latest
    hostname: mirrormaker2-worker-2
    container_name: mirrormaker2-worker-2
    volumes:
      - ./connect-mirror-maker.properties:/opt/kafka/config/connect-mirror-maker.properties:rw
    networks:
      - kafka-mirror-network
    environment:
      KAFKA_HEAP_OPTS: "-Xms1G -Xmx2G"
    command: ["./bin/connect-mirror-maker.sh", "./config/connect-mirror-maker.properties"]
    restart: unless-stopped

networks:
  kafka-mirror-network:
    driver: bridge
    name: kafka-mirror-network

配套的connect-mirror-maker.properties核心配置示例 #

# Connect Worker基础配置
bootstrap.servers=kafka-target-1:9092,kafka-target-2:9092,kafka-target-3:9092
group.id=mirror-maker-group
offset.storage.topic=connect-offsets
config.storage.topic=connect-configs
status.storage.topic=connect-statuses
# 内部存储主题副本数建议与目标集群broker数一致
offset.storage.replication.factor=3
config.storage.replication.factor=3
status.storage.replication.factor=3

# MirrorMaker 2.0核心配置
plugin.path=/opt/kafka/plugins
mirror.maker.version=2

# 源/目标集群定义
clusters=source,target
source.bootstrap.servers=kafka-source-1:9092,kafka-source-2:9092,kafka-source-3:9092
target.bootstrap.servers=kafka-target-1:9092,kafka-target-2:9092,kafka-target-3:9092

# 主题复制规则
source->target.enabled=true
# 复制所有主题，或指定正则匹配特定主题
source->target.topics=.*
# 可选：排除无需复制的内部主题
# source->target.exclude.topics=__consumer_offsets,connect-.*

# 故障恢复配置
source->target.checkpoint.topic.replication.factor=3
source->target.sync.topic.configs=true

问题解答 #

1. 生产环境中，是否需要每次Docker容器启动时运行MirrorMaker命令，或是有更优配置方式？ #

不需要手动执行命令，通过docker-compose的command字段直接指定启动脚本，即可让容器启动时自动运行MirrorMaker服务，这是Docker环境下的标准做法。更优配置方式包括：

• 设置restart: unless-stopped策略，确保容器意外退出后自动重启，提升可用性；
• 挂载外部配置文件而非硬编码，方便修改和版本管理；
• 通过KAFKA_HEAP_OPTS环境变量调整JVM内存，避免OOM；
• 分布式集群中所有worker共享相同配置文件，保证集群一致性。

2. 仅运行一个MirrorMaker 2.0实例是否足够，还是需要搭建类似Kafka集群的3节点专用MirrorMaker集群？ #

单实例仅适用于测试或低流量场景，生产环境必须搭建分布式MirrorMaker（Kafka Connect）集群，建议部署2-3个worker节点：

• 避免单点故障：单个实例挂掉后复制任务会中断，分布式集群中其他worker会自动接管任务；
• 负载均衡：高流量下多个worker可分摊复制压力，提升效率；
• 容错性：Kafka Connect集群自动管理任务分配与故障转移，无需人工干预。

Docker环境下MirrorMaker 2.0生产最佳实践 #

• 分布式集群部署：至少2个worker节点，配置相同group.id和Connect存储主题，确保集群一致性；
• 网络配置：使用自定义桥接网络替代host模式，保证源/目标集群与MirrorMaker实例连通的同时提升安全性；
• 资源调优：根据业务流量调整JVM内存、任务线程数（task.max）和批量大小（batch.size）；
• 安全适配：若源/目标集群启用SSL/TLS、SASL认证，需在配置文件中添加对应安全参数（如security.protocol、sasl.jaas.config）；
• 监控与日志：开启JMX监控收集复制延迟、任务状态等指标；配置容器日志持久化，便于问题排查；
• 主题过滤：仅复制业务需要的主题，通过include/exclude.topics减少资源消耗；
• 存储主题配置：Connect内部存储主题设置足够副本数，避免数据丢失；
• 版本兼容：MirrorMaker版本需与源/目标集群Kafka版本保持兼容，优先使用相同大版本；
• 配置管理：将配置文件纳入版本控制，如需动态调整可使用Kafka Connect的REST API。

内容的提问来源于stack exchange，提问作者Darshak Kachchhi