使用JConsole测量Kafka Streams性能：能否查询消息端到端处理耗时？

问题结论 #

默认情况下你需要的消息端到端处理总时长无法直接通过JConsole查询。

JConsole默认采集的是拓扑单节点维度的内部运行指标，也就是你提到的process rate（处理速率）、punctuate rate（定时触发速率）这类单节点内部的统计值，没有默认做跨全链路的时间戳聚合统计，所以没有直接对应的JMX指标可供查询。

可选实现方案 #

你可以根据自己的业务场景选择以下方式实现该指标的统计：

• 消息埋点方案：不需要依赖额外组件，改造成本最低。
  在producer发送消息前给消息添加produce_timestamp自定义头字段写入发送时间戳，在拓扑最后一个节点完成处理、写入目标topic之前，读取该时间戳和当前系统时间做差值，即可得到单条消息的端到端耗时。你可以将耗时数据输出到日志做统计，也可以自己把平均耗时、P95/P99分位耗时等聚合指标注册到JMX，后续就能直接通过JConsole查询。
• 框架内置指标方案：适配自带监控能力的流处理框架。
  如果你使用的是Kafka Streams、Flink这类自带全链路监控的流处理框架，可以直接开启框架内置的全局链路延迟指标，这类指标开启后会自动统计消息从进入流拓扑到流出的全链路耗时，且会默认注册到JMX Bean中，直接在JConsole中找到对应指标项即可查看。
• 无侵入采集方案：适合已上线不允许改代码的业务场景。
  不需要修改业务代码，分别在producer发送端、拓扑最后输出的目标topic侧部署流量采集工具，按消息唯一ID或者消息Key匹配同一条消息的发送时间和写入完成时间，计算差值即可得到端到端耗时统计。

内容的提问来源于stack exchange，提问作者sirss