日志服务支持日志检索与分析功能，配置索引后才能进行日志检索和分析操作。配置索引时需要指定索引的类型和各个字段的数据类型，索引的配置决定了检索方式和检索结果的精度。本文介绍配置索引的操作步骤及索引配置的详细说明。 ## 前提条件 * 已创建日志项目和日志主题。详细说明请参考[日志项目](/docs/6470/72005)和[日志主题](/docs/6470/72004)。 * 推荐先通过 LogCollector 或其他方式采集到日志数据，再配置索引。详细说明请参考[采集日志数据](/docs/6470/112664)。 ## 注意事项 |分类 |注意事项 | |---|---| |开启索引 |全文索引与键值索引至少开启一项，索引关闭时采集的日志数据将无法被检索。 | |分词 |日志服务单词存在 32766 字符限制，对于全文或单词过长的日志，如果未设置分词符，可能导致日志被丢弃。 | |全文索引 |* 执行全文检索前，必须先开启全文索引。|\ | |* 仅开启全文索引时，您只能使用[检索语法](/docs/6470/1206705)进行日志检索。 | |键值索引 |* 执行键值检索前，必须先为目标字段开启键值索引。|\ | |* 为目标字段配置键值索引且打开统计功能后，您才能在分析语句中使用该字段。|\ | |* 配置键值索引时，最多添加 500 个日志字段。 | |修改索引 |配置索引后可以随时修改索引，修改索引后：|\ | ||\ | |* 新索引仅对修改之后采集到的新数据生效，已构建好的旧数据索引不会更新。|\ | |* 检索日志时，旧数据仍旧遵循旧的索引规则，但如果删除了键值索引，则不再支持键值检索。|\ | |* 分析日志时，旧数据不参与分析，仅修改索引后采集的日志参与分析。 | ## 索引类型 |索引类型 |说明 | |---|---| |全文索引 |开启全文索引后，日志服务会根据分词符将整条日志拆分为多个 text 类型的词，您可以输入关键词进行全文检索。例如通过 `error or warning` 语句检索包含关键字 `error` 或 `warning` 的日志。 | |键值索引 |为目标字段开启键值索引后，日志服务将先根据字段名称（Key）拆分日志，再在各个字段内根据分词符拆分字段值（Value）。键值索引支持设置为 text、long、double 和 json 四种数据类型。详细说明，请参考[索引数据类型](/docs/6470/1206093)。|\ | |创建键值索引后，您可以指定字段名和字段值（`Key:Value`）进行日志检索。 | |预留字段索引 |将日志数据写入日志服务时，日志服务默认为每一条日志添加部分元数据字段，用于记录该日志的日志来源、时间戳等信息。这些字段统称为日志服务的预留字段。开启索引功能后，日志服务默认为部分预留字段开启键值索引与统计，例如 `__time__` 等字段。预留字段的默认索引配置请参考[预留字段](/docs/6470/1208475)。|\ | |对于没有预置索引的字段，例如 `__content__` 字段，您可以通过**预留字段索引**手动为其设置索引。 | ## 创建索引 1. 登录[日志服务控制台](https://console.volcengine.com/tls)。 2. 在顶部导航栏中，选择日志服务所在的地域。 3. 在左侧导航栏中，选择**常用功能** \> **检索分析**。 4. 在**检索分析**页面的左侧列表中，选择指定的日志项目和日志主题。 5. 在指定日志主题的检索分析页面，单击**索引配置**。 6. 打开**启用索引**，并按需选择索引类型。日志服务支持以下类型的索引配置，详细的配置方式请参考： * [全文索引配置](/docs/6470/1206703#bf762c56) * [键值索引配置](/docs/6470/1206703#239ce868) * [预留字段索引配置](/docs/6470/1206703#70a3abbd) 7. 单击**确定**。索引配置预计 1 分钟以内生效，请稍后刷新页面查看实时日志，或检索分析日志。 ### 全文索引配置在索引配置页面，开启**全文索引**，并填写以下配置。 |配置 |说明 | |---|---| |大小写敏感 |检索时，对于英文字母，是否区分大小写。|\ | ||\ | |* 启用：检索时区分大小写。例如检索包含 `error` 的日志，只能使用 `error` 关键词进行检索，通过 `ERROR` 检索不到该日志。|\ | |* 未启用：检索时不区分大小写。例如检索包含 `error` 的日志，通过 `error` 或 `ERROR` 均可以检索到该日志。 | |包含中文 |检索时，是否对日志的中文内容按照中文语法进行分词。|\ | ||\ | |* 启用：|\ | | * 日志内的中文字符：根据常见的中文语法对日志进行分词，不支持自定义中文内容的分词符。|\ | | * 日志内的非中文字符：按照**分词符**参数中指定的分词符对日志进行分词。|\ | |* 未启用：按照**分词符**参数中指定的分词符对日志进行分词。|\ | ||\ | |:::tip|\ | |即使关闭了**包含中文**配置，也可以检索日志中的中文字符，此时检索的关键词必须完全匹配该中文字段。|\ | |例如日志中包含中文字段**访问请求失败**：|\ | ||\ | |* 此功能关闭时，以关键词**失败**进行检索时，无法检索到该日志，必须使用完整的关键词**访问请求失败**，才能检索到该日志。|\ | |* 此功能启用后，通过搜索**访问**、**请求**或**失败**等词都可以检索到该日志。|\ | ||\ | |:::| |分词符 |是否根据指定分词符拆分日志内容。|\ | ||\ | |* 启用：日志服务根据指定分词符拆分日志内容，您需要根据拆分后的日志内容进行检索。当默认的分词符不满足需求时，你可以自定义设置分词符。日志服务所支持的分词符详情请参考控制台界面。|\ | |* 未启用：不分词，每条日志将作为一个整体进行检索。|\ | ||\ | |例如日志内容为`/var/log/access.log`。|\ | ||\ | |* 如果设置分词符为正斜线（/），则日志将被被拆分为`var`、`log`和`access.log`。您使用其中的任意一个词都可以检索到该日志，例如`var`、`va*`、`access.log`。|\ | |* 如果您使用默认分词符，则日志将被被拆分为`var`、`log`、`access`和`log`。您使用其中的任意一个词都可以检索到该日志，例如`var`、`va*`、`access`。|\ | |* 如果关闭了分词符，则整条日志为一个词`/var/log/access.log`。您需要通过完整的字符串`/var/log/access.log` 或字符串的模糊检索`/var/log/*` 才能检索到该日志。 | ### 键值索引配置在索引配置页面，开启**键值索引**，并填写相关配置。开启键值索引后，可以从原始日志提取索引，或手动添加索引，同时支持开启自动更新索引功能。 * 从原始日志提取索引单击**从原始日志提取字段**，弹出**自动索引配置**弹窗，默认获取预览数据中的第一条日志自动配置键值索引。 * 单击**追加**，保留已存在的索引属性，key 相同的字段则更新配置。 * 单击**覆盖**，则直接替换已存在的索引属性。 * 自动更新索引勾选**自动更新**，系统将根据新出现的字段自动添加到键值索引。自动更新生成的索引字段会在字段名称列生成**自动生成**的提示，可根据实际情况修改索引属性。首次开启可能需等待2~3分钟界面才会展示相关索引。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/3fd347931e6c482f924036fad9306108~tplv-goo7wpa0wc-image.image =753x) :::tip 通过自动更新生成的索引符合如下规范： * 字段名称：仅自动添加符合日志服务字段名称规范的字段。 * 字段类型：仅支持text、long、double类型。json类型字段会被自动添加为**text**类型。 * 支持修改、删除自动添加的索引，修改后的索引不会被自动更新添加的索引覆盖。 * 执行**重建索引**操作后，不会触发自动更新索引。 * 自动更新生成的索引与手动添加的索引最多 500 个。 ::: * 手动配置索引单击**添加字段**，参考下表手动添加索引字段。 |配置 ||说明 | |---|---|---| |字段名称 ||日志字段的名称，即键值对中的 Key。|\ | | ||\ | | |* 仅支持字母、数字、空格、下划线（_）、连字符（\-）和斜线（/），并且不支持以空格开头或结尾。|\ | | |* 同一个索引中 key 名称唯一。|\ | | |* 长度为 1~128 字符。|\ | | ||\ | | |:::tip|\ | | |最多添加 500 个日志字段。|\ | | ||\ | | |:::| |字段类型 ||日志字段的数据类型。请根据实际情况如实填写数据类型，数据类型的设置将影响检索分析结果的正确性和精度。详细说明请参考[索引数据类型](/docs/6470/1206093)。|\ | | |支持设置的数据类型包括 text、long、double 和 json。 | |统计 ||是否开启统计。|\ | | ||\ | | |* 启用：该字段参与统计分析，即可以在 SQL 分析语句中使用该字段。|\ | | |* 未启用：该字段不参与统计分析。 | |字段配置 |大小写敏感 |根据字段进行检索分析时，对于英文字母，是否区分大小写。|\ | | ||\ | | |* 启用：检索时区分大小写。例如检索包含 `error` 的日志，只能使用 `error` 关键词进行检索，通过 `ERROR` 检索不到该日志。|\ | | |* 未启用：检索时不区分大小写。例如检索包含 `error` 的日志，通过 `error` 或 `ERROR` 均可以检索到该日志。 | |^^|包含中文 |检索时，是否对日志的中文内容按照中文语法进行分词。|\ | | ||\ | | |* 启用：|\ | | | * 日志内的中文字符：根据常见的中文语法对日志进行分词，不支持自定义中文内容的分词符。|\ | | | * 日志内的非中文字符：按照**分词符**参数中指定的分词符对日志进行分词。|\ | | |* 未启用：按照**分词符**参数中指定的分词符对日志进行分词。 | |^^|分词符 |根据字段进行检索是否根据指定分词符拆分日志内容。|\ | | ||\ | | |* 启用：根据指定分词符拆分日志内容，根据拆分后的日志内容进行检索。当默认的分词符不满足需求时，你可以自定义设置分词符。日志服务所支持的分词符详情请参考控制台界面。|\ | | |* 不启用：不分词，每条日志将作为一个整体进行检索。|\ | | ||\ | | |例如日志内容为`/var/log/access.log`。|\ | | ||\ | | |* 如果设置分词符为正斜线（/），则日志将被被拆分为`var`、`log`和`access.log`。您使用其中的任意一个词都可以检索到该日志，例如`var`、`va*`、`access.log`。|\ | | |* 如果您使用默认分词符，则日志将被被拆分为`var`、`log` 、`access`和`log`。您使用其中的任意一个词都可以检索到该日志，例如`var`、`va*`、`access`。|\ | | |* 如果关闭了分词符，则整条日志为一个词`/var/log/access.log`。您需要通过完整的字符串`/var/log/access.log` 或字符串的模糊检索`/var/log/*` 才能检索到该日志。 | ### 预留字段索引配置对于没有预置索引的预留字段，例如 `__content__` 字段，您可以通过**预留字段索引**手动为其设置索引。在索引配置页面，开启**预留字段索引**，并填写相关配置。 :::tip * 目前仅 `__content__` 字段支持设置预留字段索引。如果设置 `__content__` 字段为 json 类型，支持开启**对Json内所有文本自动索引**功能。 * 支持同时开启全文索引和 `__content__` 预留字段索引。同时开启后，会计算双倍的索引流量费用和索引存储空间费用。 ::: ## 索引流量说明 |索引类型 |说明 | |---|---| |全文索引 |字段名和字段值均以 text 类型存储，均会产生索引流量。 | |键值索引 |* text 类型：字段名和字段值均会产生索引流量。|\ | |* 数值类型：long 类型和 double 类型的字段名不会产生索引流量，每个字段值占用的索引流量均为 8 字节。|\ | |* JSON 类型：字段名和字段值（包括子字段）均会产生索引流量。|\ | | * 未对 JSON 子字段创建索引时，该子字段为 JSON 类型字段的值，日志服务会按照 text 类型计算索引流量。|\ | | * 为 JSON 子字段创建了索引时，日志服务根据该子字段的数据类型（text、long、double）计算索引流量。 | ## 相关操作 ### 设置字段最大长度在分析日志时，日志服务默认支持的字段值最大长度为 2048 字节（2 KB）。当您需要调整字段值的最大长度时，可设置**统计字段最大长度**，取值范围为 64~16384。 :::tip * 单个字段值的长度超过您所指定的最大长度时，超出部分将被截断，不参与分析。 * 字段最大长度更新后，只对增量数据有效。 ::: ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/05772ad5490342f8a9497fa978cde98d~tplv-goo7wpa0wc-image.image =653x) ## 后续操作 * [单主题检索日志](/docs/6470/1206094) * [分析日志](/docs/6470/1206704)