如何解读Kafka Connect源任务的active record count指标?
指标本质拆解
kafka_connect_source_task_source_record_active_count_*指标的设计初衷,是统计Kafka Connect源任务中,已从外部数据源拉取、等待完成Kafka生产提交的活跃记录数:- 任务每从数据库拉取一个数据批次,就将批次的记录总数累加到这个活跃计数上
- 等批次对应的生产请求全部拿到Kafka的成功ack后,本该从计数中扣减对应批次的记录数量
- 你观测到的每次阶梯增量固定为100,完全匹配JDBC Postgres连接器的默认配置:
batch.max.rows的默认值就是100,任务每完成一次数据库查询拉取,就会拉满100条记录,对应计数+100,和观测到的步长完全吻合。
计数长期不回落的根本原因
- 你看到的计数只涨不跌,是Kafka Connect JDBC连接器的已知埋点逻辑缺陷导致的:代码中缺失了“批次生产完成后扣减对应活跃计数”的实现,从任务启动开始,每拉满一个100条的批次,计数就累加一次,永远不会因为生产完成而扣减回落。这个累计出来的数值,和当前真实的未提交积压不存在等价关系。
- 切换指标维度到
_max时,同样观测到每次+100的阶梯变化,也是同一逻辑问题导致的:单任务每拉100条记录时,这个瞬时的活跃计数自然会让max值同步上涨100,因为计数本身不会回落,max值也就会跟着累计一路走高。
核心疑问的直接解答
- 图表末尾显示的1100+数值,完全不代表当前存在1100条未提交到Kafka的真实积压。这个数值本质是任务从启动到观测时点,累计拉取的100条批次的总规模,只是一个累计计数,不是实时的待提交数。
- 该数值持续数周不下降,和对接数据库活跃度高、连接器是否存在滞后没有任何关系,纯粹是埋点计数只加不减导致的统计偏差。
- 这个存在逻辑缺陷的指标,根本无法反映卡住、未提交的堆积消息:
- 判断连接器是否在正常推进积压处理,可通过两个更可靠的维度交叉验证:
- 对比连接器提交的最后偏移量,与数据库对应表的最新增量水位的差值:差值长期稳定不持续扩大,甚至随时间逐步缩小,就说明连接器一直在正常跟进数据库的变更,没有卡壳停摆
- 观测目标Kafka Topic的入站生产速率:入站速率和数据库的变更写入速率基本匹配,就不存在消息长期卡住不提交的情况
- 只要任务日志中没有持续出现生产失败、数据库连接中断、偏移量提交失败的告警,就不存在永久堆积、无法提交的卡住消息。
- 判断连接器是否在正常推进积压处理,可通过两个更可靠的维度交叉验证:
快速验证方案:临时重启一次连接器,观察该指标是否直接从0开始重新累加,且仍保持每拉100条涨100、不回落的形态,即可确认是埋点逻辑问题,而非真实业务积压。
内容的提问来源于stack exchange,提问作者swagrov
相关产品推荐
相关产品推荐

