本文介绍如何通过 TLS 的仪表盘和告警能力，实现对 Kafka 协议消费堆积情况的实时监控和告警。

前提条件

已创建 Kafka 协议消费日志任务。具体操作，请参考通过 Kafka 协议消费日志。

背景信息

启动 Kafka 消费组后，由于 Kafka Client 配置、客户端消费线程性能、客户端数据处理线程性能、Topic 分区数等因素的限制，可能导致消费的数据量低于上传的数据量（通过 Log Connector、Kafka 协议上传等多个途径上传的数据），从而产生数据堆积。正常情况下，由于客户端轮询数据存在时间间隔，一定程度的堆积是正常的。但是如果堆积持续上涨，则说明消费能力不足。当消费的延迟超过 Topic 的存储时长时，就会丢失数据，这种情况需要通过客户端参数调优、客户端扩容、分区扩容等手段来提高客户端消费能力，具体请参考 Consumer Configs。
日志服务提供了 Kafka 监控看板，用于展示消费延迟和消费速度变化趋势，并支持为图表配置告警，以便您及时发现和处理消费延迟和消费速度的相关问题。

场景1：查看消费组延迟和消费速度的变化趋势

1. 登录日志服务控制台。
2. 在顶部导航栏中，选择日志服务所在的地域。
3. 在左侧导航栏中，选择数据处理 > 日志消费。
4. 在 Kafka 页签下，找到并展开目标 Kafka 消费组所属的日志项目，然后单击指定的 Kafka 消费组。
5. 在监控看板页签中，查看消费相关的仪表盘。
   监控看板中展示了该 Kafka 消费组的消费延迟、消费速度以及相关的变化趋势。
   • MaxPartitionLag：该消费组消费的所有分区中，未消费数据最多的分区中未消费的数据条数。
   • TotalLag：整个消费组在该时间点上未消费的数据条数。
     

场景2：对消费组的消费延迟配置告警

1. 在延迟图表中，选择 ··· > 添加告警。
   
2. 在创建告警策略页面，完成如下配置，然后单击创建。
   日志服务已内置相关的检索分析语句，重要参数配置如下，其他参数说明请参考创建告警策略。
   • 设置触发条件为有数据匹配，$1.MaxPartitionLag > 100000 || $1.TotalLag > 500000。其中 MaxPartitionLag 和 TotalLag 的取值请结合实际业务进行评估。
   • 选择合适的执行周期、发送告警周期和通知组。
     
3. 收到告警通知。
   当消费延迟指标达到触发条件时，您将收到告警通知。