配置索引

最近更新时间：2023.09.19 19:48:06

首次发布时间：2021.10.11 18:04:05

日志服务支持日志检索与分析功能，配置索引后才能进行日志查询和分析操作。配置索引时需要指定索引的类型和各个字段的数据类型，索引的配置决定了查询的方式和查询结果的精度。本文介绍配置索引的操作步骤及索引配置的详细说明。

前提条件

已创建日志项目和日志主题。详细说明请参考日志项目和日志主题。
推荐先通过 LogCollector 或其他方式采集到日志数据，再配置索引。详细说明请参考采集日志数据。

注意事项

分类	注意事项
开启索引	全文索引与键值索引至少开启一项，索引关闭时采集的日志数据将无法被检索。
分词	日志服务单词存在 32766 字符限制，对于全文或单词过长的日志，如果未设置分词符，可能导致日志被丢弃。
全文索引	如果需要使用全文检索，开启索引时应同时开启全文索引。例如以单行或多行全文的方式采集日志时，需开启全文索引或 `__content__` 的预留字段索引才能进行日志检索。
键值索引	如果需要使用键值检索，开启索引时应为需要检索的字段开启键值索引。开启索引后，日志服务会默认为部分预留字段设置索引，详细说明请参考预留字段。除格式为`__tag__xxx__`的字段以外，`_`开头的字段不支持配置索引。例如`__tag__data_source__`支持配置索引，`__name__`不支持配置索引。
修改索引	配置索引后可以随时修改索引，修改索引时请注意：如果修改索引，新索引仅对修改之后采集到的新数据生效，已构建好的旧数据索引不会更新。检索和分析仅基于最新的索引配置。因此，修改索引配置可能会导致之前相同的查询分析语句计算出不同结果，因为新的索引配置导致查询分析的数据范围发生了变化。

操作步骤

登录日志服务控制台。
在左侧导航栏中选择日志服务 > 选择日志项目管理，并单击指定日志项目名称。
在左侧导航栏中选择检索分析。
找到需要配置索引的日志主题名称，并其对应的操作列单击配置索引图标。
打开启用索引，并按需选择索引类型。
日志服务支持以下类型的索引配置，详细的配置方式请参考：
单击确定。
索引配置预计 1 分钟以内生效，请稍后刷新页面查看实时日志，或检索分析日志。

全文索引配置

在索引配置页面，开启全文索引，并填写以下配置。

配置说明

配置	说明
启用大小写敏感	检索时，对于英文字母，是否区分大小写。启用：查询时区分大小写。例如对于包含 `error` 的日志，只能使用 `error` 关键词进行查询，通过 `ERROR` 查询不到该日志。未启用：查询时不区分大小写。例如对于包含 `error` 的日志，通过 `error` 或 `ERROR` 均可以查询到该日志。
启用包含中文	检索时，是否区分中英文。启用：如果日志中包含中文字符，则根据常见的中文语法进行所有内容的分词。此时不支持自定义分词符。未启用：根据启用分词符的设置决定分词的方式，即不分词，或根据指定分词符进行分词。说明即使关闭了包含中文配置，也可以检索日志中的中文字符，此时检索的关键词必须完全匹配该中文字段。例如日志中包含中文字段访问请求失败：此功能关闭时，以关键词失败进行检索时，无法检索到该日志，必须检索完整的关键词访问请求失败，才能检索到该日志。此功能启用后，可通过搜索访问、请求或失败检索到该日志。
启用分词符	是否根据指定分词符拆分日志内容。启用：根据指定分词符拆分日志内容，根据拆分后的日志内容进行查询。支持的分词符包括 `!@#%^&*"()-_=', <>/?\|;:\n\t\r[]{}\`。未启用：不分词，每条日志将作为一个整体进行查询。说明不支持同时启用分词符和包含中文。

启用大小写敏感

检索时，对于英文字母，是否区分大小写。

启用：查询时区分大小写。例如对于包含 error 的日志，只能使用 error 关键词进行查询，通过 ERROR 查询不到该日志。
未启用：查询时不区分大小写。例如对于包含 error 的日志，通过 error 或 ERROR 均可以查询到该日志。

启用包含中文

检索时，是否区分中英文。

启用：如果日志中包含中文字符，则根据常见的中文语法进行所有内容的分词。此时不支持自定义分词符。
未启用：根据启用分词符的设置决定分词的方式，即不分词，或根据指定分词符进行分词。

说明

即使关闭了包含中文配置，也可以检索日志中的中文字符，此时检索的关键词必须完全匹配该中文字段。
例如日志中包含中文字段访问请求失败：

此功能关闭时，以关键词失败进行检索时，无法检索到该日志，必须检索完整的关键词访问请求失败，才能检索到该日志。
此功能启用后，可通过搜索访问、请求或失败检索到该日志。

启用分词符

是否根据指定分词符拆分日志内容。

启用：根据指定分词符拆分日志内容，根据拆分后的日志内容进行查询。支持的分词符包括 !@#%^&*"()-_=', <>/?|;:\n\t\r[]{}\。
未启用：不分词，每条日志将作为一个整体进行查询。

说明

不支持同时启用分词符和包含中文。

键值索引配置

在索引配置页面，开启键值索引，并填写相关配置。

开启键值索引后，日志服务会根据采集到的日志数据自动联想相关索引配置，您可以根据联想到的索引配置进行修改，或者清空已联想的配置，单击添加字段重新设置索引。

由日志服务自动配置键值索引时，默认获取预览数据中的第一条日志。

单击追加保留已存在的索引属性，key 相同的字段则更新配置。
单击覆盖则直接替换已存在的索引属性。

说明

键值字段开启统计时，包含中文及分词符属性均不生效。

配置		说明
字段名称		日志字段的名称，即键值对中的 Key。
字段类型		日志字段的数据类型。请根据实际情况如实填写数据类型，数据类型的设置将影响检索分析结果的正确性和精度。详细说明请参考索引数据类型。支持设置的数据类型包括 text、long、double 和 json。
统计		是否开启统计。启用：该字段参与统计分析。未启用：该字段不参与统计分析。说明启用统计后，不支持包含中文和分词设置。
字段配置	大小写敏感	根据字段进行查询分析时，对于英文字母，是否区分大小写。启用：查询时区分大小写。例如对于包含 `error` 的日志，只能使用 `error` 关键词进行查询，通过 `ERROR` 查询不到该日志。未启用：查询时不区分大小写。例如对于包含 `error` 的日志，通过 `error` 或 `ERROR` 均可以查询到该日志。
	包含中文	根据字段进行查询时，是否区分中英文。仅在未开启统计时可设置。启用：如果日志中包含中文字符，则根据常见的中文语法进行所有内容的分词。此时不支持自定义分词符。未启用：根据启用分词符的设置决定分词的方式，即不分词，或根据指定分词符进行分词。
	分词符	根据字段进行查询是否根据指定分词符拆分日志内容。仅在未开启统计时可设置。启用：根据指定分词符拆分日志内容，根据拆分后的日志内容进行查询。支持的分词符包括 `!@#%^&*"()-_=', <>/?\|;:\n\t\r[]{}\`。不启用：不分词，每条日志将作为一个整体进行查询。说明不支持同时启用分词符和包含中文。

预留字段索引配置

将日志数据写入日志服务时，日志服务默认为每一条日志添加部分元数据字段，用于记录该日志的日志来源、时间戳等信息。这些字段统称为日志服务的预留字段。开启索引功能后，日志服务默认为部分预留字段开启键值索引与统计，例如 __time__ 等字段。预留字段的默认索引配置请参考预留字段。

对于没有预置索引的字段，例如 __content__ 字段，您可以通过预留字段索引手动为其设置索引。在索引配置页面，开启预留字段索引，并填写相关配置。各个配置项的详细说明请参考键值索引。

说明

目前仅预留字段 __content__ 字段支持设置预留字段索引。
不能同时开启全文索引和 __content__ 的预留字段索引。
如果 __content__ 的键值索引字段类型设置为 JSON，则其他字段不可设置为 JSON，否则其他字段检索时会报错Function [QUERY_STRING] cannot be found or used here.。

日志服务