如何衡量Kafka Connect连接器的消息处理速度？

1. 利用Kafka Connect内置指标 #

Kafka Connect原生暴露了丰富的JMX指标，可直接获取核心数据：

• 处理速度：关注sink-task-metrics下的records-per-second指标，它会统计每个Sink任务每秒处理的消息数量。
• 延迟：通过consumer-fetch-manager-metrics下的records-lag-max指标，能查看当前消费偏移量与主题最新偏移量的差距，这就是延迟的直观体现；另外sink-task-metrics里的record-latency-avg，可统计消息从被消费到写入目标系统的平均耗时。

你可以用jconsole、jvisualvm这类JMX工具直接连接Connect进程查看，也能把指标导出到Prometheus+Grafana做可视化监控。

2. 手动统计计算 #

如果不想依赖监控工具，也能手动测算：

• 先记录某一时刻的消费偏移量，用命令：./kafka-consumer-groups.sh --bootstrap-server <kafka地址> --describe --group <Connect消费组名>，同时记下当前时间。
• 等待一段固定时长（比如1分钟），再次执行上述命令获取新偏移量，用消息总数差值除以时间差，就能得到这段时间的平均处理速度。
• 延迟计算：用kafka-run-class.sh kafka.tools.GetOffsetShell --bootstrap-server <kafka地址> --topic <目标主题> --time -1获取主题最新偏移量，和当前消费偏移量做差，得到未处理消息数，结合处理速度就能算出大致延迟时长。

注意：Connect的消费组名通常为connect-<连接器名称>，可在连接器配置中确认。

3. 自定义消息标记 #

如果需要更精准的端到端延迟，可在生产消息时给每条消息添加时间戳（放在消息头或payload中），然后在Sink连接器的自定义转换/处理逻辑里，记录消息写入目标系统的时间，两者的差值就是单条消息的端到端延迟，统计多条数据就能得到平均延迟和分布情况。

内容的提问来源于stack exchange，提问作者lealvcon