You need to enable JavaScript to run this app.
导航
插件概述
最近更新时间:2024.09.13 17:12:48首次发布时间:2022.10.14 11:41:16

通过 LogCollector 采集文本日志时,如果业务日志结构复杂、格式不固定,无法通过 JSON 模式等常规的日志采集模式进行解析时,您可以添加 LogCollector 插件进行采集后处理。

功能概述

LogCollector 提供分隔符模式、JSON 模式、完整正则模式等多种文本日志采集模式,并支持日志过滤等多种高级配置,可覆盖大多数典型场景的日志采集和处理需求。在某些复杂的场景中,例如业务日志结构复杂,日志中同时存在 JSON 格式和分隔符日志、日志字段不固定等情况,无法通过某个模式进行统一解析处理,可以通过 LogCollector 插件进行采集后处理。
配置文本日志的 LogCollector 采集规则时,只需开启插件功能,并依次填写用于处理日志的插件配置即可,日志服务处理采集到的日志数据时,会根据插件配置依次执行对应的处理逻辑。详细使用方式请参考使用 LogCollector 插件处理日志
LogCollector 插件模块提供多种丰富的插件,配合 LogCollector 采集模块的数据采集功能,加强日志服务在复杂日志场景的采集后处理能力。目前支持的插件列表请参考插件列表。如果需要根据日志内容判断是否执行某个插件,可以在插件配置中添加插件条件,例如检查字段值是否为某个固定值、检查字段值是否包含某个指定字符串等,支持的执行条件列表请参考执行条件列表

注意事项

  • 启用插件配置之后,可以添加一个或多个 LogCollector 插件,LogCollector 将按照 LogCollector 插件的定义顺序依次执行。如果其中一个 LogCollector 插件执行失败,那么整个 LogCollector 插件处理环节将执行失败。
  • 启用插件配置之后,目前提供的高级功能仍然有效,包括过滤器配置、使用采集时间、上传解析失败日志、解析采集路径、上传原始日志、上传常量字段、扩展配置等。
  • LogCollector 插件通常需要针对一个特定字段的内容进行解析,当选择的采集模式是单行全文或多行全文时,因为单行全文或多行全文的日志对应的字段名称是 __content__,所以第一个 LogCollector 插件配置的字段名称应指定为 __content__
  • 不支持通过插件处理容器元数据字段。
  • LogCollector 插件功能持续更新,推荐使用最新版本的 LogCollector 体验全量功能。

插件列表

类别

LogCollector插件

说明

字段提取

delimiter 插件

delimiter 插件用于指定 LogCollector 通过分隔符模式提取字段。

fullregex 插件

fullregex 插件用于指定 LogCollector 通过完整正则模式提取字段。

kv 插件

kv 插件用于指定 LogCollector 通过键值对模式提取字段。

添加字段

add_kvs 插件

add_kvs 插件用于指定 LogCollector 添加指定字段。

JSON 解析

json 插件

json 插件用于指定 LogCollector 通过 JSON 模式解析并展开字段。

数据脱敏

desensitize 插件

desensitize 插件用于将指定日志内容替换为对应的 MD5 值,实现数据脱敏的目的。

字符串替换

replace 插件

replace 插件用于将指定日志内容替换为指定字符串。

时间解析

时间解析插件

strp_time 插件用于解析日志中的时间内容,并将解析后的时间作为日志时间戳记录在服务端。

重命名

重命名插件

rename 插件用于重命名字段名称。

过滤日志

过滤日志插件

drop_log 插件支持日志字段名称与正则表达式进行匹配,以过滤掉不符合条件的日志。