You need to enable JavaScript to run this app.
导航

基本概念

最近更新时间2024.01.31 10:25:53

首次发布时间2021.10.11 18:04:05

本文介绍日志服务的常见基本概念。

基础资源

基本概念

说明

日志

日志是系统或程序运行过程中的事件记录,其中包括用户操作、接口访问、运行报错等事件,每类日志具有统一的结构和格式。

链路追踪数据

链路追踪数据记录了服务的整个调用链路信息,包括调用关系、延迟、结果等。

日志项目

日志项目是数据的项目管理单元,用于租户资源隔离和控制,通常一个日志项目对应一个应用、业务或产品。

日志主题

日志主题是数据的采集、存储单元。一个日志项目可以包括多个日志主题,每个日志主题隶属于一个日志项目,您可以为同一个日志主题配置不同的数据源和采集规则。

分区

日志分区是数据读写的基本单元,所有数据都被保存在分区中。每个分区提供一定的读写能力,建议根据实际业务需求合理规划日志分区的数量。

数据采集

基本概念

说明

LogCollector

LogCollector 是火山引擎日志服务团队基于开源工具 Filebeat 二次开发的日志采集工具,用于接收采集配置,并向服务端实时上报日志。

采集配置

采集配置是 LogCollector 进行数据采集的规则集合,指定了日志文件位置、采集方式等信息。

机器组

机器组是日志服务中的虚拟配置单元,一个机器组中包含多台服务器,日志服务以机器组维度下发 LogCollector 采集配置,批量采集机器组中多台服务器的日志。

数据检索分析

基本概念

说明

检索

日志服务提供实时检索能力,支持秒级检索百亿级数据。您可以在检索语句中指定检索规则,快速检索目标日志。

分析

日志服务在检索功能的基础上提供了实时 SQL 计算能力,支持实时分析与计算海量日志,并以图表方式展示分析结果。

检索与分析语句

检索与分析语句由检索条件和 SQL 分析语句构成,格式为&{检索条件} | &{SQL 分析语句}

索引

索引是对数据表中的一列或多列值进行排序的存储结构,相当于数据的目录,您可以根据关键词快速找到目标数据行。日志服务支持创建全文索引和键值索引。

可视化

基本概念

说明

仪表盘

仪表盘是日志服务提供的实时数据分析大盘,用于集中展示数据的检索分析结果。

统计图表

统计图表用于可视化展示检索分析结果,包括表格、折线图、饼图、单值图、流图等。

仪表盘过滤器

过滤器可与统计图表联动,基于字段名与字段值过滤统计图表数据。

仪表盘变量

变量可与统计图表联动,基于变量名与变量值过滤统计图表数据。

数据加工

基本概念

说明

ETL

ETL(Extract, Transform, Load)是指对源端数据进行抽取、转换、加载至目标端的过程,用于实现数据整合、标准及统一的目的。日志服务支持加工指源日志主题中的日志,并将加工后的数据输出到指定的目标日志主题中。

TLS DSL

TLS DSL(Domain Specific Language)是日志服务提供的类 Python 的脚本语言,用于指定加工过程中的数据处理逻辑。TLS DSL 提供数十种加工函数,可支持各种大数据分析与数仓处理场景的数据加工需求。

加工规则

加工规则是数据加工的执行脚本,是 TLS DSL 编排的逻辑代码集合。

加工任务

加工任务是数据加工的调度单元,定义了源日志主题、目标日志主题、加工规则等配置项。

定时 SQL 分析

基本概念

说明

定时 SQL 分析任务

定时 SQL 分析任务是定时 SQL 分析规则的集合,定义了源端/目标端日志主题、调度周期和 SQL 时间窗口等配置项。

定时 SQL 分析任务实例

启动定时 SQL 分析任务后,日志服务会根据指定的调度周期按时创建实例。每个实例用于在源日志主题中执行一次定时 SQL 分析,并将计算结果写入指定的日志主题。

数据投递与消费

基本概念

说明

消费组

消费组是多个消费者组成的虚拟集合。以消费组维度消费数据时,消费组中的所有消费者订阅同一个日志主题,共同消费一个日志主题中的数据。每个消费者消费日志主题中一个或多个分区的数据,各个消费者间不会重复消费数据。

消费者

消费者是一个在日志服务中消费数据的客户端,是消费组的组成部分。

  • 同一个消费组中的消费者名称唯一。
  • 同一时刻,日志主题中的某个分区将会分配给消费组中的某个消费者,一个消费者可能负责多个 分区。在消费组的运行过程中,消费者和日志分区的分配关系可能发生变更。

消费位点

消费过程中,消费程序会随时记录当前分区的消费位点(即游标进度)并上报服务端,以此记录程序重启时的起始消费游标,从而保证数据不会被重复消费。

告警

基本概念

说明

告警策略

告警策略定义了数据监控方式与告警规则,您需要在策略中指定监控任务、告警规则、告警通知方式等配置项。

告警组

告警组是告警通知策略的集合,定义了告警通知类型、接收渠道、接收对象等信息。

告警触发

告警触发是一种告警通知类型。当监控结果满足告警触发表达式时,发送告警通知。

告警恢复

告警恢复是一种告警通知类型。当监控对象恢复正常时,发送恢复通知。

内容模板

以自定义接口回调方式发送告警通知时,日志服务会根据内容模板中定义的内容发送告警通知。内容模板中支持添加变量,在发送通知时,变量会被替换为实际值。

Webhook 集成

日志服务支持以 Webhook 集成方式管理飞书、钉钉和企业微信等告警通知渠道。