You need to enable JavaScript to run this app.
文档中心
日志服务

日志服务

复制全文
下载 pdf
数据采集
启用 LogCollector 高精度时间
复制全文
下载 pdf
启用 LogCollector 高精度时间

LogCollector 采集支持开启高精度时间功能,用于提取原始日志时间内容中的纳秒部分。本文介绍如何启用 LogCollector 高精度时间功能。

应用场景

默认情况下,日志服务采集和存储日志时,对应的时间精度为毫秒,以适应广泛的日志管理与分析场景。然而在诸如金融交易实时监控、超低延迟系统性能分析等领域,纳秒级别的监控精度是金额交易分析、服务响应和故障排的关键因素。
为满足此类高精度时间管理需求,日志服务支持通过 LogCollector 采集日志时,轻松开启纳秒时间精度功能,确保每一微小的时间变化都能被捕捉与分析,为决策提供坚实的时效性基础。

限制说明

通过 LogCollector 1.0.50 及后续版本采集到的日志,以及通过 Go SDK 1.0.172 及后续版本调用 PutLogs 接口采集到的日志支持启用 LogCollector 高精度时间。操作步骤,请参考采集文本日志通过 Go SDK 写入日志

日志样例

URL_REQUEST,https://clientservices.googleapis.com/chrome-variations/seed?osname=win&channel=stable&milestone=86,2024-06-19 12:27:35.822222222

前提条件

操作步骤

您可以通过 LogCollector 或 LogCollector 组件提取日志中的时间,并解析为纳秒时间。

LogCollector

本示例以分隔符模式为例,您需要在采集配置中完成相关配置。重要参数配置示例如下,其他具体说明及相关操作,请参考分隔符模式

  1. 完成分隔符模式相关配置。
    根据日志样例,设置分隔符逗号,为提供结果中的各个 Value,设置 Key。

  2. 完成日志时间相关配置。

    1. 关闭使用采集时间功能。
    2. 设置时间键名称starttime
      starttime 为您在上一步骤中为时间内容指定的 Key 名。
    3. 选中启用纳秒时间精度
      启用纳秒时间精度后,日志时间将支持到纳米级别。
    4. 根据日志样例中的时间内容,设置时间转换格式%Y-%m-%d %H:%M:%S.%f
      图片

采集到日志并开启索引后,您可以在检索分析页面,选择纳秒检索精度,查看采集到的日志,其中日志时间为纳秒精度。
图片

LogCollector 插件

通过 LogCollector 采集文本日志时,支持通过 LogCollector 插件对采集到的日志数据指定字段进行解析处理,因此您也可以使用 LogCollector 时间解析插件来开启高精度时间功能。
本示例以单行全文模式为例,您需要在采集配置中完成相关配置。重要参数配置示例如下,其他具体说明及相关操作,请参考单行全文模式

  1. 选择采集模式单行全文

  2. 使用采集时间参数中,选中启用

  3. 插件配置参数中,选中启用,并输入如下脚步。
    使用单行全文模式采集时,每一行原始日志将被存放在 __content__ 字段中,您可以使用时间解析插件提取原始日志中的时间内容,详细说明,请参考时间解析插件

    {
        "processors":[
            {
                "strp_time": {
                    "field": "__content__",
                    "format": "%Y-%m-%d %H:%M:%S.%f",
                    "time_zone": "GMT+08:00",
                    "extract_regex": "\\[(\\d{4}\\-\\d{2}\\-\\d{2}T\\d{2}:\\d{2}:\\d{2},\\d{3})\\]",
                     "enable_nanosecond": true
                }
            }
        ]
    }
    

    图片

采集到日志并开启预留字段 __content__ 的索引后,您可以在检索分析页面,选择纳秒检索精度,查看采集到的日志,其中日志时间为纳秒精度。
图片

最近更新时间:2024.08.16 10:30:19
这个页面对您有帮助吗?
有用
有用
无用
无用