如何通过Kafka MM2限制Kafka集群间的数据复制带宽？

MirrorMaker 2（MM2）确实没有提供直接的全局复制速率限制配置，但可以通过以下几种方式间接实现限速需求：

1. 调整MM2消费者端配置 #

MM2的复制逻辑依赖消费者从源集群拉取数据，因此可以通过消费者参数控制拉取速率：

• 设置fetch.max.bytes：单次拉取的最大字节数，比如要限制到5MB/s，可将该值设为5242880（510241024）
• 配合max.poll.records：控制每次poll返回的最大记录数，避免一次性拉取过多数据
• 调整fetch.max.wait.ms：如果fetch.min.bytes未满足，等待的最长时间，可设为1000ms（1秒），确保每秒拉取的总量不超过5MB

在MM2的配置文件中，这些参数可以添加到源集群的消费者配置块中：

clusters.source.consumer.fetch.max.bytes=5242880
clusters.source.consumer.max.poll.records=1000
clusters.source.consumer.fetch.max.wait.ms=1000

2. 调整MM2生产者端配置 #

通过限制生产者的推送速率辅助控制：

• 设置batch.size：每个批次的最大字节数，比如设为1048576（1MB）
• 设置linger.ms：等待批次填满的最长时间，比如设为200ms，让生产者攒够批次再发送，避免频繁小批量推送

配置示例：

clusters.target.producer.batch.size=1048576
clusters.target.producer.linger.ms=200

3. 操作系统层面流量控制 #

如果需要更精准的带宽限制，可通过Linux的tc工具直接限制MM2所在机器与目标集群之间的网络流量：

# 假设网卡为eth0，限速40Mbit/s（对应5MB/s的字节速率，注意单位转换：1MB/s=8Mbit/s）
tc qdisc add dev eth0 root tbf rate 40mbit burst 10k latency 70ms

注意：tc工具的速率单位是bit，需根据目标字节速率进行转换，比如5MB/s对应40Mbit/s。

内容的提问来源于stack exchange，提问作者shiki