最近更新时间:2024.01.30 10:05:13
首次发布时间:2021.10.11 18:04:05
日志服务在日志检索的基础上提供实时数据分析能力,支持海量日志数据的实时检索与分析,基于日志检索结果进行 SQL 分析与计算,并以分析图表的方式展示分析结果。
注意
日志服务产品架构升级,支持更丰富的检索分析功能。
关于 1.0 架构与 2.0 架构的具体说明,请参考日志服务架构升级通知。
限制项 | 说明 |
---|---|
操作并发数 | 单个 Topic 中,分析操作的并发数限制为 15。 |
数据生效机制 | 分析功能只对开启统计功能后写入的数据生效。对于未打开统计功能的字段,SQL 分析结果展示为空。 |
SQL 分析仅对最新版本索引对应的数据生效。修改索引之前的数据可检索,不参与 SQL 分析。 | |
超时时间 | 查询操作的超时时间为 55s。 |
结果条数 | 每次分析时,默认返回结果 100 条。 |
API 调用 | 调用 SearchLogs 接口进行检索分析时,应在请求 Header 中指定 X-Tls-Apiversion 为 0.3.0。 |
在日志服务的检索分析页面中输入检索分析语句,并指定日志的时间范围和日志主题即可进行实时的日志检索与分析。具体操作步骤请参考日志分析。
检索分析语句由检索条件和 SQL 分析语句构成,两者通过英文竖线(|
)分割,表示在检索条件筛选过的数据中进行分析与计算。
检索分析语句的结构:
&{检索条件} | &{SQL分析语句}
其中:
如果需要分析日志数据,则必须同时输入检索条件和 SQL 分析语句。
说明
from
子句,默认分析指定日志主题中的数据。嵌套查询的最内层除外,即在嵌套子查询中,SELECT 语句中必须指定 FROM 子句。'error'
表示日志内容中的字符串 error
, error
表示日志中的 error
字段。检索分析语句示例:
分析范围 | 检索分析语句示例 | 说明 |
---|---|---|
基于全量数据进行日志分析 |
| 统计不同状态码的访问次数。 |
基于检索结果进行日志分析 |
| 在状态码为 200 的请求中统计访问次数。 |
日志服务支持多种 SQL 分析语法和函数。
函数 | 说明 |
---|---|
支持 avg、count、max、min、sum 等聚合函数,对一组值执行计算并返回单一的值。 | |
支持 abs、sqrt、power、round、floor、log、log10 等数学运算函数,对数值类型的字段进行统计学分析与计算。 | |
支持 add、subtract、multiply、divide、modulus 等算数运算,通过函数方式进行统计分析。 | |
支持多种比较运算符,用于判断值的大小关系。 | |
支持 AND、OR 和 NOT 逻辑运算。 | |
支持对日志中的日期和时间进行格式转换,分组聚合等处理。 | |
支持使用指定的分隔符对字符串进行拆分。 | |
支持 HTTP URL 路径中的字段提取、编码解码等分析操作。 | |
通过正则表达式匹配进行字段替换等操作。 |
语法 | 说明 |
---|---|
用于从表中选取列(Key)数据,默认从当前日志主题中选取符合筛选条件的数据。 | |
为列名称(KEY)指定一个别名。 | |
结合聚合函数,根据一个或多个列(KEY)对结果集进行分组。 | |
根据指定的 KEY 对结果集进行排序。 | |
限制由 SELECT 语句返回的数据数量。 | |
提取满足指定条件的日志。 | |
在 SELECT 子句中使用,用于对某一列去重。 | |
将一个 SELECT 语句嵌套在另一个 SELECT 语句中,表示先对原始数据进行 SELECT 统计分析,再基于分析结果进行二次统计分析。 |