You need to enable JavaScript to run this app.
导航

预留字段

最近更新时间2024.01.22 17:18:38

首次发布时间2024.01.22 17:18:38

将日志数据写入日志服务时,日志服务默认为每一条日志添加部分元数据字段,用于记录该日志的日志来源、时间戳等信息。这些字段统称为日志服务的预留字段。本文档介绍预留字段的名称、数据类型、索引配置等信息。

说明

  • 创建采集配置或通过 PutLogs API 写入日志数据时,请勿将 Key(字段名称)设置为以下预留字段,否则可能会造成字段名称重复、查询不精确等问题。
  • 日志服务为日志数据增加的这些元数据字段按照存储量正常收费,为其开启索引时也会产生少量的索引存储费用。详细的计费模式请参考产品计费

通用字段

预留字段

数据类型

索引配置

说明

__raw__

Text 类型

  • 索引设置:默认不开启索引;不支持设置字段索引。手动开启全文索引后,可以通过全文检索语法搜索该字段内容。
  • 统计设置:默认不开启统计,且不支持手动开启统计。

开启后,原始的日志数据将被封装在 __raw__ 字段中,和解析后的日志数据一起上传到日志服务中。
该字段支持检索,不支持统计。

__tag____client_ip__

Text 类型

  • 索引设置:默认不开启索引,支持自定义设置索引。
  • 统计设置:默认不开启统计,支持自定义设置统计。

日志来源设备的公网 IP 地址。为日志主题开启记录外网 IP 功能后,日志服务会自动在采集到的日志内容中添加此字段。
该字段支持检索和统计。

说明

通过 Web Tracking 方式写入日志时,日志服务通过 clientAddr 记录来源设备的公网 IP 地址。

__tag____receive_time__

Text 类型

  • 索引设置:默认不开启索引,支持自定义设置索引。
  • 统计设置:默认不开启统计,支持自定义设置统计。

日志达到服务端的时间,格式为 10 位的 Unixtime 时间戳。为日志主题开启记录外网 IP 功能后,日志服务会自动在采集到的日志内容中添加此字段。
该字段支持检索和统计。

宿主机日志采集

预留字段

数据类型

索引配置

说明

__time__

Long 类型

  • 索引设置:手动开启索引后,日志服务默认为__time__创建键值索引,索引字段类型为 Long 类型,无分词符。例如 __time__:1693193760
  • 统计设置:开启索引后默认开启统计,可使用日志服务 SQL 分析语法,例如 * | select __time__

向日志服务写入日志数据时指定的日志时间。
该字段支持检索和统计。

__content__

Integer 类型

  • 索引设置:
    • 手动开启索引后,日志服务默认为__content__ 创建键值索引,索引字段类型为 Text;分词符为 !@#%^&*"()-_=', <>/?|;:\n\t\r[]{}\
    • 如果关闭全文索引,且开启键值索引,可自定义修改该字段的键值索引配置。
  • 统计设置:默认不开启统计;如果关闭全文索引,且开启键值索引后,可手动开启统计。

该字段中封装原始的日志数据。该字段未预置索引,若需检索日志,需要手动开启全文索引。
该字段支持检索和统计。

说明

如果 __content__ 的键值索引字段类型设置为 JSON,则其他字段不可设置为 JSON,否则其他字段检索时会报错Function [QUERY_STRING] cannot be found or used here.

__path__

Text 类型

  • 索引设置:开启全文索引后,日志服务默认为__path__ 创建索引,索引字段类型为 Text 类型,无分词符。查询时输入 __path__:/infcs/log
  • 统计设置:开启索引后默认开启统计,可使用日志服务 SQL 分析语法,例如:*|select __path__

日志的源文件目录与文件名。
该字段支持检索和统计。

__source__

Text 类型

  • 索引设置:开启索引后,日志服务默认为__source__创建索引,索引字段类型为 Text 类型,分词符为空。查询时输入 __source__:10.0.0.1
  • 统计设置:开启索引后默认开启统计,可使用日志服务 SQL 分析语法,例如:*|select __source__

日志源服务器的 IP 地址。
该字段支持检索和统计。

容器日志采集

预留字段

数据类型

索引配置

说明

__image_name__

Text 类型

  • 索引设置:开启索引后,日志服务默认为__image_name__创建索引,索引字段类型为 Text 类型,无分词符。例如检索 __image_name__:hub.bxxx.org/infcs/tob.tls.api:1.0.1
  • 统计设置:当您为任意字段开启键值索引后,日志服务默认为__image_name__开启统计。

镜像名称。
该字段支持检索和统计。

__container_name__

Text 类型

  • 索引设置:开启索引后,日志服务默认为__container_name__创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__container_name__:api
  • 统计设置:为任意字段开启键值索引后,日志服务默认为__container_name__开启统计。

容器名称。
该字段支持检索和统计。

__container_ip__

Text 类型

  • 索引设置:开启索引后,日志服务默认为__container_ip__创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__container_ip__:172.xx.xxx.30
  • 统计设置:为任意字段开启键值索引后,日志服务默认为__container_ip__开启统计。

容器或 Pod 的 IP 地址。
该字段支持检索和统计。

__container_source__

Text 类型

  • 索引设置:开启索引后,日志服务默认为__container_source__创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__container_source__:stdout
  • 统计设置:为任意字段开启键值索引后,日志服务默认为__container_source__开启统计。

数据源类型,即 stdout 或 stderr。
该字段支持检索和统计。

__pod_ip__

Text 类型

  • 索引设置:开启索引后,日志服务默认为__pod_ip__创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__pod_ip__:172.xx.xxx.30
  • 统计设置:为任意字段开启键值索引后,日志服务默认为__pod_ip__开启统计。

Pod 的 IP 地址。
该字段支持检索和统计。

__pod_name__

Text 类型

  • 索引设置:开启索引后,日志服务默认为__pod_name__创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__pod_name__:api
  • 统计设置:为任意字段开启键值索引后,日志服务默认为__pod_name__开启统计。

Pod 名称。
该字段支持检索和统计。

__pod_uid__

Text 类型

  • 索引设置:开启索引后,日志服务默认为__pod_uid__创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__pod_uid__:2d5440b2-20f5-427d-94e4-2af27fxxxxxx
  • 统计设置:为任意字段开启键值索引后,日志服务默认为__pod_uid__开启统计。

Pod 的唯一标识。
该字段支持检索和统计。

__node_ip__

Text 类型

  • 索引设置:开启索引后,日志服务默认为__node_ip__创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__node_ip__:10.1.1.1
  • 统计设置:为任意字段开启键值索引后,日志服务默认为__node_ip__开启统计。

Pod 所属的 Node 的 IP 地址。
该字段支持检索和统计。

__node_name__

Text 类型

  • 索引设置:开启索引后,日志服务默认为__node_name__创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__node_name__:tls-cluster
  • 统计设置:为任意字段开启键值索引后,日志服务默认为__node_name__开启统计。

Pod 所属的 Node 的名称。
该字段支持检索和统计。

__namespace__

Text 类型

  • 索引设置:开启索引后,日志服务默认为__namespace__创建索引,索引字段类型为 Text 类型,无分词符。查询时输入__namespace__:tls
  • 统计设置:为任意字段开启键值索引后,日志服务默认为__namespace__开启统计。

Pod 所属的 Namespace。
该字段支持检索和统计。

定时 SQL 分析

预留字段

数据类型

索引配置

说明

__task_id__

Text 类型

  • 索引设置:开启索引后,日志服务默认为 __task_id__ 创建索引,索引字段类型为 Text 类型,分词符为空。查询时输入__task_id__:de64b4ea-dcdd-4cba-9312-167524dxxxxx0
  • 统计设置:默认不开启统计,且不支持手动开启统计。

定时 SQL 分析任务的 ID。
该字段支持检索,不支持统计。

__process_id__

Text 类型

  • 索引设置:开启索引后,日志服务默认为 __process_id__ 创建索引,索引字段类型为 Text 类型,分词符为空。查询时输入__process_id__:0b96eeef-cf1e-46ed-9693-bda14df1xxxx
  • 统计设置:默认不开启统计,且不支持手动开启统计。

定时 SQL 分析任务中执行此调度计算的实例 ID。
该字段支持检索,不支持统计。

__process_start_time__

Long 类型

  • 索引设置:开启索引后,日志服务默认为 __process_start_time__ 创建索引,索引字段类型为 Long 类型。查询时输入 __process_start_time__:> 1693193760
  • 统计设置:默认不开启统计,且不支持手动开启统计。

定时 SQL 分析任务的 SQL 时间窗口开始时间。
该字段支持检索,不支持统计。

__process_end_time__

Long 类型

  • 索引设置:开启索引后,日志服务默认为 __process_end_time__ 创建索引,索引字段类型为 Text 类型,分词符为空。查询时输入 __process_end_time__:> 1693193820
  • 统计设置:默认不开启统计,且不支持手动开启统计。

定时 SQL 分析任务的 SQL 时间窗口结束时间。
该字段支持检索,不支持统计。

__process_time__

Long 类型

  • 索引设置:开启索引后,日志服务默认为 __process_time__ 创建索引,索引字段类型为 Text 类型,分词符为空。查询时输入 __process_time__:> 1693193857
  • 统计设置:默认不开启统计,且不支持手动开启统计。

实例的调度时间,即默认情况下后端服务开始产生运行实例。
该字段支持检索,不支持统计。

__schedule_time__

Long 类型

  • 索引设置:开启索引后,日志服务默认为 __schedule_time__ 创建索引,索引字段类型为 Text 类型,分词符为空。查询时输入 __schedule_time__:> 1693193925000
  • 统计设置:默认不开启统计,且不支持手动开启统计。

实例的执行时间,即定时 SQL 分析任务的实例实际开始执行的时间。
该字段支持检索,不支持统计。

Web Tracking

预留字段

数据类型

索引配置

说明

clientAddr

String 类型

  • 索引设置:默认不开启索引,支持自定义设置索引。
  • 统计设置:默认不开启统计,支持自定义设置统计。

通过 Webtracking 方式写入日志时,记录日志数据源端的 IP 地址及端口号。

User-Agent

String 类型

  • 索引设置:默认不开启索引,支持自定义设置索引。
  • 统计设置:默认不开启统计,支持自定义设置统计。

访问终端名称。
日志服务仅在通过 HTML img 标签方式写入日志时默认添加此字段。

referer

String 类型

  • 索引设置:默认不开启索引,支持自定义设置索引。
  • 统计设置:默认不开启统计,支持自定义设置统计。

访问页面来源。
日志服务仅在通过 HTML img 标签方式写入日志时默认添加此字段。