基本概念

日志

日志是系统或程序运行过程中的事件记录，其中包括用户操作、接口访问、运行报错等事件，每类日志具有统一的结构和格式。

链路追踪数据

链路追踪数据记录了服务的整个调用链路信息，包括调用关系、延迟、结果等。

日志项目

日志项目是数据的项目管理单元，用于租户资源隔离和控制，通常一个日志项目对应一个应用、业务或产品。

日志主题

日志主题是数据的采集、存储单元。一个日志项目可以包括多个日志主题，每个日志主题隶属于一个日志项目，您可以为同一个日志主题配置不同的数据源和采集规则。

分区

日志分区是数据读写的基本单元，所有数据都被保存在分区中。每个分区提供一定的读写能力，建议根据实际业务需求合理规划日志分区的数量。

LogCollector

LogCollector 是火山引擎日志服务团队基于开源工具 Filebeat 二次开发的日志采集工具，用于接收采集配置，并向服务端实时上报日志。

采集配置

采集配置是 LogCollector 进行数据采集的规则集合，指定了日志文件位置、采集方式等信息。

机器组

机器组是日志服务中的虚拟配置单元，一个机器组中包含多台服务器，日志服务以机器组维度下发 LogCollector 采集配置，批量采集机器组中多台服务器的日志。

检索

日志服务提供实时检索能力，支持秒级检索百亿级数据。您可以在检索语句中指定检索规则，快速检索目标日志。

分析

日志服务在检索功能的基础上提供了实时 SQL 计算能力，支持实时分析与计算海量日志，并以图表方式展示分析结果。

检索与分析语句

检索与分析语句由检索条件和 SQL 分析语句构成，格式为&{检索条件} | &{SQL 分析语句}。

索引

索引是对数据表中的一列或多列值进行排序的存储结构，相当于数据的目录，您可以根据关键词快速找到目标数据行。日志服务支持创建全文索引和键值索引。

仪表盘

仪表盘是日志服务提供的实时数据分析大盘，用于集中展示数据的检索分析结果。

统计图表

统计图表用于可视化展示检索分析结果，包括表格、折线图、饼图、单值图、流图等。

仪表盘过滤器

过滤器可与统计图表联动，基于字段名与字段值过滤统计图表数据。

仪表盘变量

变量可与统计图表联动，基于变量名与变量值过滤统计图表数据。

ETL

ETL（Extract, Transform, Load）是指对源端数据进行抽取、转换、加载至目标端的过程，用于实现数据整合、标准及统一的目的。日志服务支持加工指源日志主题中的日志，并将加工后的数据输出到指定的目标日志主题中。

TLS DSL

TLS DSL（Domain Specific Language）是日志服务提供的类 Python 的脚本语言，用于指定加工过程中的数据处理逻辑。TLS DSL 提供数十种加工函数，可支持各种大数据分析与数仓处理场景的数据加工需求。

加工规则

加工规则是数据加工的执行脚本，是 TLS DSL 编排的逻辑代码集合。

加工任务

加工任务是数据加工的调度单元，定义了源日志主题、目标日志主题、加工规则等配置项。

定时 SQL 分析任务

定时 SQL 分析任务是定时 SQL 分析规则的集合，定义了源端/目标端日志主题、调度周期和 SQL 时间窗口等配置项。

定时 SQL 分析任务实例

启动定时 SQL 分析任务后，日志服务会根据指定的调度周期按时创建实例。每个实例用于在源日志主题中执行一次定时 SQL 分析，并将计算结果写入指定的日志主题。

消费组

消费组是多个消费者组成的虚拟集合。以消费组维度消费数据时，消费组中的所有消费者订阅同一个日志主题，共同消费一个日志主题中的数据。每个消费者消费日志主题中一个或多个分区的数据，各个消费者间不会重复消费数据。

消费者

消费者是一个在日志服务中消费数据的客户端，是消费组的组成部分。

• 同一个消费组中的消费者名称唯一。
• 同一时刻，日志主题中的某个分区将会分配给消费组中的某个消费者，一个消费者可能负责多个 分区。在消费组的运行过程中，消费者和日志分区的分配关系可能发生变更。

消费位点

消费过程中，消费程序会随时记录当前分区的消费位点（即游标进度）并上报服务端，以此记录程序重启时的起始消费游标，从而保证数据不会被重复消费。

告警策略

告警策略定义了数据监控方式与告警规则，您需要在策略中指定监控任务、告警规则、告警通知方式等配置项。

通知组

通知组是告警通知策略的集合，定义了告警通知类型、接收渠道、接收对象等信息。

告警触发

告警触发是一种告警通知类型。当监控结果满足告警触发表达式时，发送告警通知。

告警恢复

告警恢复是一种告警通知类型。当监控对象恢复正常时，发送恢复通知。

内容模板

告警通知内容模板是一种预定义的文本模板，用于指定告警通知的内容及格式。内容模板中支持添加变量，在发送通知时，变量会被替换为实际值。

Webhook 集成

日志服务支持以 Webhook 集成方式管理飞书、钉钉和企业微信等告警通知渠道。