You need to enable JavaScript to run this app.
导航
检索概述
最近更新时间:2024.07.02 10:53:56首次发布时间:2024.01.22 17:18:37

对于采集到服务端的日志数据,日志服务提供实时检索能力,支持秒级查询海量日志数据,通过检索语句匹配日志中的字段,快速筛选和检索目标信息。

注意

日志服务产品架构升级,支持更丰富的检索分析功能。

  • 如果您使用的是 2.0 架构,可参考本文档使用相关功能。
  • 如果您使用的是 1.0 架构,可参考检索分析(1.0 架构)中的检索概述等文档使用相关功能。

如何区分架构,请参考如何快速区分架构 1.0 和 2.0。关于架构的具体说明,请参考日志服务架构升级通知

日志检索

日志服务支持日志检索和日志分析功能,仅筛选、检索日志数据,不需要进行数据统计和分析时,只需在输入框中输入检索条件、指定日志时间范围及日志主题即可,操作步骤请参考检索日志。日志服务通过指定的检索条件查询并返回匹配条件的日志,例如通过 status:500 检索 HTTP Code 为 500 的访问日志。

检索方式

日志服务支持的检索方式如下:

检索方式

说明

全文检索

输入检索条件时,直接输入关键词,无需指定日志字段名,日志服务会根据指定的分词符切分原始日志,当分词后的日志中有符合检索条件的词即匹配。
例如,404 AND 500 表示查询包含 404 和 500 关键字的所有日志。

说明

开启全文索引后才能进行全文检索。

键值检索
(Key:Value)

输入检索条件时,需要指定字段名称和字段值,如果日志内指定字段的值符合指定的检索条件即匹配。键值检索时,查询方式和字段类型有关,例如仅 long 和 double 类型的字段支持数值范围查询。
例如,status:500 表示检索 HTTP Code 为 500 的访问日志。

说明

开启全文索引或键值索引后才能进行键值检索。

检索精度

日志服务支持的检索精度如下:

检索精度

说明

示例

精确查询

检索时指定完整的关键词,即通过完整的关键词进行匹配。例如指定检索条件为 GET,表示查询包含关键词 GET 的日志。
日志服务检索数据时采用分词法,精确查询的结果并非完全精准,例如检索语句 error warn 表示根据关键词 errorwarn 进行检索,而非根据短语 error warn 进行检索,因此无法精准匹配目标短语。如果您要完全匹配短语 error warn ,可使用短语查询或 LIKE 语法。详细说明,请参考如何精确检索日志?

  • region: cn-shanghai:查询 region 字段值包含 cn-shanghai 的日志。
  • URL:#"success Request":查询包含短语 success Request 的日志。
  • * | SELECT * WHERE "__content__" LIKE '%Error 2024-06-24%':查询__content__ 字段中包含短语 Error 2024-06-24 的日志。

模糊查询

检索条件中仅指定关键词的部分字符,在其中间或末尾加上通配符星号(*)或问号(?),日志服务会匹配符合条件的 100 个词,并返回满足检索条件且包含这 100 词中的日志。例如检索条件 erro* 表示在所有日志中查询以 erro 开头的 100 个词,然后返回包含这 100 个词并满足检索条件的所有日志。详细说明,请参考如何模糊检索日志?

  • 指定的词越精确,查询结果越精确。
  • 星号(*)或问号(?)只能出现在关键词的中间或末尾,不能放在词的开头。
  • 数值类型(long、double)的字段不支持使用星号(*)或问号(?)进行模糊查询。您可以使用数值范围进行查询,例如指定 age:{20 TO 30}
  • TopicID:6d*67:查询包含字段名为 TopicID,字段值以 6d 开头,以 67 结尾的日志。
  • cn*:查询包含以 cn 开头的词的日志。

检索条件语法

日志服务支持根据日志主题、日志时间和检索条件进行查询。

  • 日志主题:检索时指定日志主题,仅搜索指定主题下的日志数据。
  • 日志时间:根据日志时间进行筛选,查看指定时间段内符合检索条件的日志数据。如果搜索框中无数据,或只有空格,表示查看指定时间段内的所有日志。
  • 检索条件:检索日志时输入的筛选条件,匹配筛选条件的日志才会返回。检索条件支持多种逻辑运算、数学运算等多种预算符,详细的语法列表请查看检索语法

使用限制

限制项

说明

备注

单字段字符数

日志分词前后,单个词的长度均不超过 255 个字符。

超出限制后无法通过关键词检索到此日志,但服务端保存的日志数据仍然是完整的。

检索语句长度

单条检索语句最大长度为 4096 字符。

/

操作并发数

  • 标准存储:单个 Topic 下,最大操作并发数为 15。
  • 低频存储:单个 Project 下,最大操作并发数为 10。

说明

  • 低频存储为邀测功能,若有业务需求可联系客户经理申请白名单。
  • 当检索的日志范围包括标准存储和低频存储时,以低频存储的操作并发数为准。

/

超时时间

查询操作的超时时间为 55s。

/

模糊查询

模糊查询时,日志服务最多查询到符合条件的 100 个词,然后返回包含这 100 个词以及满足查询条件的所有日志。

/

关键词查询

关键词查询时,每次查询最多可指定 30 个查询条件。

/

返回结果

每次查询时,默认最多返回 100 条查询结果。

通过翻页最多可以获取 100,000 条日志。

查询结果排序

默认按照秒级或毫秒级时间从最新日志开始展示。

/

单条日志内容显示

由于网页浏览器性能原因,对于超过 10,000 个字符的日志,日志服务只会对前 10,000 个字符进行 DOM 切词处理。

如果超出 10,000 个字符,控制台会提示“该日志存在超过 10,000 个字符的日志数据,部分显示上会有降级处理”。

日志查询方式

说明

查询日志前,请确认您已通过 LogCollector 或其他方式采集到日志数据,并正确设置了索引。设置索引的操作步骤,请参考配置索引

  • 通过控制台查询日志:在日志服务控制台中找到指定的日志项目和日志主题,并在其对应的检索分析页面执行查询操作。详细操作步骤及注意事项请参考查询日志。
  • 通过 API 查询日志:日志服务提供检索相关的系列 API 接口供您使用。