分析概述--日志服务-火山引擎

文档中心

导航

分析概述

最近更新时间：2025.08.19 10:54:29首次发布时间：2024.01.22 17:18:37

日志服务在日志检索的基础上提供实时数据分析能力，支持海量日志数据的实时检索与分析，基于日志检索结果进行 SQL 分析与计算，并以分析图表的方式展示分析结果。

限制说明

限制项	说明
数据量	单个 Shard 单次仅支持分析 1 GiB 数据。
检索分析语句长度	单条检索分析语句最大长度为 50,000 字符，其中检索语句部分最大长度为 4,096 字符。
字段值大小	单个字段值最大为 16KB，即 16384 字节，超出部分将不参与分析。日志服务默认支持的字段值最大长度为 2048 字节，即 2 KB。当您需要调整字段值的最大长度时，可设置统计字段最大长度。具体操作，请参见设置字段最大长度。说明更新配置只对增量数据有效。
操作并发数	标准存储：单个 Project 下，最大操作并发数为 100。单个 Topic 下，最大操作并发数为 15。低频存储：单个 Project 下，最大操作并发数为 2。说明低频存储为邀测功能，若有业务需求可联系客户经理申请白名单。当检索分析的日志范围包括标准存储和低频存储时，以低频存储的操作并发数为准。
数据生效机制	分析功能只对开启统计功能后写入的数据生效。对于未打开统计功能的字段，SQL 分析结果展示为空。
数据生效机制	SQL 分析仅对最新版本索引对应的数据生效。修改索引之前的数据可检索，不参与 SQL 分析。
超时时间	查询操作的超时时间为 55s。
结果条数	每次分析时，默认返回结果 100 条。如果您需要返回更多数据，请使用 LIMIT 语法，此时最多返回结果 100,000 条。

在日志服务的检索分析页面中输入检索分析语句，并指定日志的时间范围和日志主题即可进行实时的日志检索与分析。具体操作步骤请参考分析日志。
检索分析语句由检索条件和 SQL 分析语句构成，两者通过英文竖线（|）分割，表示在检索条件筛选过的数据中进行分析与计算。
检索分析语句的结构：

&{检索条件} | &{SQL 分析语句}

检索条件：用于指定筛选规则，表示在检索条件筛选过的数据中进行分析与计算。日志检索必须符合查询语法，支持全文检索和键值检索，查询精度分为精确查询和模糊查询，也可以指定为空格或星号（*）表示全量数据。详细说明请参考检索概述和检索语法。
无需进行日志分析时，仅输入检索条件即可。
SQL 分析语句：用于指定查询结果的分析和计算方式。支持多种 SQL 函数和 SQL 语法，详细说明请参考分析语法。

如果需要分析日志数据，则必须同时输入检索条件和 SQL 分析语句。

说明

通常情况下，SQL 分析语句中不需要设置 FROM 子句，默认分析指定日志主题中的数据。嵌套查询的最内层除外，即在嵌套子查询中，SELECT 语句中必须指定 FROM 子句。
SQL 分析语句不支持使用 offset，不区分大小写，不需要在末尾加半角分号（;）表示语句结束。
在分析语句中，需要使用单引号（''）包裹代表字符串的字符，无符号包裹或被双引号（""）包裹的字符为字段名或列名。例如'time' 代表字符串，time 或 "time" 代表字段名或列名。

检索分析语句示例：

分析范围	检索分析语句示例	说明
基于全量数据进行日志分析	`* \| SELECT status, count(*) AS PV GROUP BY status`	统计不同状态码的访问次数。
基于检索结果进行日志分析	`status:200 \| SELECT COUNT(*) AS PV`	在状态码为 200 的请求中统计访问次数。