You need to enable JavaScript to run this app.
导航

配置索引

最近更新时间2024.01.30 10:05:13

首次发布时间2021.10.11 18:04:05

日志服务支持日志检索与分析功能,配置索引后才能进行日志查询和分析操作。配置索引时需要指定索引的类型和各个字段的数据类型,索引的配置决定了查询的方式和查询结果的精度。本文介绍配置索引的操作步骤及索引配置的详细说明。

注意

日志服务产品架构升级,支持更丰富的检索分析功能。

  • 如果控制台提示”新一代架构正式发布“信息,表示您使用的是 2.0 架构,可参考检索分析(2.0 架构)中的检索概述等文档使用相关功能。
  • 如果控制台未提示”新一代架构正式发布“信息,表示您使用的是 1.0 架构,可参考本文档使用相关功能。

关于 1.0 架构与 2.0 架构的具体说明,请参考架构升级通知

前提条件

  • 已创建日志项目和日志主题。详细说明请参考日志项目日志主题
  • 推荐先通过 LogCollector 或其他方式采集到日志数据,再配置索引。详细说明请参考采集日志数据

注意事项

分类

注意事项

开启索引

全文索引与键值索引至少开启一项,索引关闭时采集的日志数据将无法被检索。

分词

日志服务单词存在 32766 字符限制,对于全文或单词过长的日志,如果未设置分词符,可能导致日志被丢弃。

全文索引

如果需要使用全文检索,开启索引时应同时开启全文索引。例如以单行或多行全文的方式采集日志时,需开启全文索引或 __content__ 的预留字段索引才能进行日志检索。

键值索引

  • 如果需要使用键值检索,开启索引时应为需要检索的字段开启键值索引。开启索引后,日志服务会默认为部分预留字段设置索引,详细说明请参考预留字段
  • 除格式为__tag__xxx__的字段以外,_开头的字段不支持配置索引。例如__tag__data_source__支持配置索引,__name__不支持配置索引。

修改索引

配置索引后可以随时修改索引,修改索引后:

  • 新索引仅对修改之后采集到的新数据生效,已构建好的旧数据索引不会更新。
  • 检索日志时,旧数据仍旧遵循旧的索引规则,但如果删除了键值索引,则不再支持键值查询。
  • 分析日志时,旧数据不参与分析,仅修改索引后采集的日志参与分析。

操作步骤

  1. 登录日志服务控制台
  2. 在左侧导航栏中选择日志服务 > 选择日志项目管理,并单击指定日志项目名称。
  3. 在左侧导航栏中选择检索分析
  4. 找到需要配置索引的日志主题名称,并其对应的操作列单击配置索引图标。
  5. 打开启用索引,并按需选择索引类型。
    日志服务支持以下类型的索引配置,详细的配置方式请参考:
  6. 单击确定
    索引配置预计 1 分钟以内生效,请稍后刷新页面查看实时日志,或检索分析日志。

全文索引配置

在索引配置页面,开启全文索引,并填写以下配置。

配置

说明

启用大小写敏感

检索时,对于英文字母,是否区分大小写。

  • 启用:查询时区分大小写。例如对于包含 error 的日志,只能使用 error 关键词进行查询,通过 ERROR 查询不到该日志。
  • 未启用:查询时不区分大小写。例如对于包含 error 的日志,通过 errorERROR 均可以查询到该日志。

启用包含中文

检索时,是否区分中英文。

  • 启用:如果日志中包含中文字符,则根据常见的中文语法进行所有内容的分词。此时不支持自定义分词符。
  • 未启用:根据启用分词符的设置决定分词的方式,即不分词,或根据指定分词符进行分词。

说明

即使关闭了包含中文配置,也可以检索日志中的中文字符,此时检索的关键词必须完全匹配该中文字段。
例如日志中包含中文字段访问请求失败

  • 此功能关闭时,以关键词失败进行检索时,无法检索到该日志,必须检索完整的关键词访问请求失败,才能检索到该日志。
  • 此功能启用后,可通过搜索访问请求失败检索到该日志。

启用分词符

是否根据指定分词符拆分日志内容。

  • 启用:根据指定分词符拆分日志内容,根据拆分后的日志内容进行查询。支持的分词符包括 !@#%^&*"()-_=', <>/?|;:\n\t\r[]{}\.
  • 未启用:不分词,每条日志将作为一个整体进行查询。

说明

不支持同时启用分词符和包含中文。

键值索引配置

在索引配置页面,开启键值索引,并填写相关配置。
开启键值索引后,日志服务会根据采集到的日志数据自动联想相关索引配置,您可以根据联想到的索引配置进行修改,或者清空已联想的配置,单击添加字段重新设置索引。
由日志服务自动配置键值索引时,默认获取预览数据中的第一条日志。

  • 单击追加保留已存在的索引属性,key 相同的字段则更新配置。
  • 单击覆盖则直接替换已存在的索引属性。

说明

键值字段开启统计时,包含中文及分词符属性均不生效。

配置

说明

字段名称

日志字段的名称,即键值对中的 Key。

字段类型

日志字段的数据类型。请根据实际情况如实填写数据类型,数据类型的设置将影响检索分析结果的正确性和精度。详细说明请参考索引数据类型
支持设置的数据类型包括 text、long、double 和 json。

统计

是否开启统计。

  • 启用:该字段参与统计分析。
  • 未启用:该字段不参与统计分析。

说明

启用统计后,不支持包含中文和分词设置。

字段配置

大小写敏感

根据字段进行查询分析时,对于英文字母,是否区分大小写。

  • 启用:查询时区分大小写。例如对于包含 error 的日志,只能使用 error 关键词进行查询,通过 ERROR 查询不到该日志。
  • 未启用:查询时不区分大小写。例如对于包含 error 的日志,通过 errorERROR 均可以查询到该日志。

包含中文

根据字段进行查询时,是否区分中英文。仅在未开启统计时可设置。

  • 启用:如果日志中包含中文字符,则根据常见的中文语法进行所有内容的分词。此时不支持自定义分词符。
  • 未启用:根据启用分词符的设置决定分词的方式,即不分词,或根据指定分词符进行分词。

分词符

根据字段进行查询是否根据指定分词符拆分日志内容。仅在未开启统计时可设置。

  • 启用:根据指定分词符拆分日志内容,根据拆分后的日志内容进行查询。支持的分词符包括 !@#%^&*"()-_=', <>/?|;:\n\t\r[]{}\
  • 不启用:不分词,每条日志将作为一个整体进行查询。

说明

不支持同时启用分词符和包含中文。

预留字段索引配置

将日志数据写入日志服务时,日志服务默认为每一条日志添加部分元数据字段,用于记录该日志的日志来源、时间戳等信息。这些字段统称为日志服务的预留字段。开启索引功能后,日志服务默认为部分预留字段开启键值索引与统计,例如 __time__ 等字段。预留字段的默认索引配置请参考预留字段
对于没有预置索引的字段,例如 __content__ 字段,您可以通过预留字段索引手动为其设置索引。在索引配置页面,开启预留字段索引,并填写相关配置。各个配置项的详细说明请参考键值索引配置

说明

  • 目前仅预留字段 __content__ 字段支持设置预留字段索引。
  • 不能同时开启全文索引和 __content__ 的预留字段索引。
  • 如果 __content__ 的键值索引字段类型设置为 JSON,则其他字段不可设置为 JSON,否则其他字段检索时会报错Function [QUERY_STRING] cannot be found or used here.

相关操作