最近更新时间:2024.03.28 10:17:45
首次发布时间:2022.03.04 14:18:49
LogCollector 根据采集配置采集服务器上的文本日志,并支持以多行完整正则模式解析日志。在多行完整正则模式下,LogCollector 通过指定的正则表达式提取日志内容。本文介绍创建多行完整正则模式采集配置的操作步骤。
LogCollector 通过多行完整正则模式采集日志时,以指定的行首正则匹配日志的开头,以指定的正则表达式提取日志内容(Value),您需要为每个 Value 指定自定义的字段名(Key),从而实现日志数据的结构化处理。如果您需要结构化处理多行文本日志,建议使用多行完整正则模式。
在多行完整正则模式下,日志服务会在 LogCollector 采集到的日志数据中增加以下元数据字段,并默认为其创建索引。
预留字段 | 说明 |
---|---|
| 原始日志文件目录及文件名。 |
| 原始日志文件所在服务器的 IP 地址。 |
填写规则名称。
规则名称即 LogCollector 采集配置的名称。
您也可以单击导入其他采集配置,选择日志Region、日志项目和采集配置,将已创建的采集配置导入到当前配置中,您只需要指定采集规则名称即可。
选择是否启用容器日志采集。
采集宿主机日志及 Sidecar 方式采集容器日志时,此配置应维持默认的关闭状态。
填写采集路径。
采集路径即日志所在的目录和文件名,LogCollector 会按照采集路径中的目录部分匹配符合规则的目录,监听这些目录下符合规则的日志文件。最多设置 10 个不同的采集路径。
采集路径可以指定完整的目录和文件名,也可以通过通配符模糊匹配。
说明
**
时,表示多层目录匹配,仅在此时,日志服务才会监听指定目录下深至8级的子目录。*
、双星号**
和半角问号?
。双星号**
最多只能配置一个。常见的采集路径的配置方式及示例如下。
配置方式 | 日志路径示例 | 说明 |
---|---|---|
完整文件名称 |
| 指定完整的目录和文件名,不包含通配符,表示监听指定目录下的指定文件,不监听其子目录。 |
文件名模糊匹配 |
| 不指定文件名,表示监听所有日志文件;指定部分文件名规则,表示监听符合规则的部分文件。 |
路径模糊匹配 |
| 通过
|
设置采集路径黑名单。
配置采集路径黑名单之后,日志服务通过 LogCollector 采集日志时,会忽略指定的目录和文件。选择启用后,请根据页面提示设置黑名单目录和文件。
说明
/var/log/project/*.log
,需要过滤其中/var/log/project
目录下的所有子目录,则采集路径黑名单应设置为目录路径,配置路径为/var/log/project/**
。采集路径黑名单中的路径类型支持设置为目录路径和文件路径。
配置 | 说明 |
---|---|
目录路径 | 采集时忽略指定的目录。目录路径支持完整匹配和通配符模式匹配。
|
文件路径 | 采集时忽略指定的文件,需配置文件路径及文件名。文件路径支持完整匹配和通配符模式匹配。
|
设置采集策略。
采集策略表示 LogCollector 采集增量日志还是全量日志。默认为增量日志。
配置 | 说明 |
---|---|
全量 | LogCollector 从每个文档的起始位置开始采集日志,此时 LogCollector 会采集历史日志数据。 |
增量 | LogCollector 采集日志时,只采集文件内新增的内容。监控范围内的日志文件写入新的日志时,触发 LogCollector 日志采集行为。对于首次采集的日志文件:
|
指定采集模式。
配置 | 说明 | |
---|---|---|
采集模式 | LogCollector 解析日志文件的模式,请配置为多行完整正则模式。 | |
日志样例 | 填写真实的日志样例作为字段解析和提取的模板。
| |
行首正则表达式 | 行首正则表达式是用于识别日志开头的正则表达式,匹配到的部分将作为日志开头。支持自动生成或手动输入行首正则表达式。 | |
自动生成 | 日志服务根据已填写的日志样例自动生成行首正则表达式。页面提示的匹配行首数和日志样例中的日志数量相同,表示自动生成成功。 说明 自动生成功能仅适用于英文字符的正则表达式提取,暂不支持中文字符。 | |
手动输入 | 手动输入行首正则表达式,并单击立即验证。日志服务会根据此正则表达式去匹配日志内容,并将匹配到的部分作为日志的开始。页面提示的匹配行首数和日志样例中的日志数量相同,表示验证通过。 | |
提取正则表达式 | 提取正则表达式即日志样例对应的正则表达式,日志服务会用其解析并提取日志字段。您可以选择不同的提取模式,手动或自动生成正则表达式,并在提取结果区域确认正则表达式对于日志样例的提取结果。 | |
自动生成 | 开启自动生成功能后,页面会根据鼠标划词自动提取正则表达式。
说明
| |
手动输入 | 关闭自动生成功能即手动设置正则表达式。设置后单击立即验证,日志服务会根据已输入的正则表达式匹配日志样例中的内容,提取键值对。 说明
|
选择是否使用采集时间。
时间键名称:时间字段的名称,即您在提取结果中指定的时间字段。
时间正则:如果您只解析时间字段中的部分内容,可使用正则表达式进行提取。
时间转换格式:根据提取到的时间内容,设置时间转换格式。例如时间为01/March/2024 20:15:02
,则可以指定时间转换格式为%d/%b/%Y:%H:%M:%S
。详细的格式说明请参考时间格式。
说明
2024-03-03 15:00:00 +08:00
,您可以设置时间转换格式
为%Y-%m-%d %H:%M:%S %z
,或者设置时间转换格式为%Y-%m-%d %H:%M:%S +08:00
且选择对应的时区属性。时区属性:设置时区。如果要支持夏令时或冬令时,请选择 UTC;否则,请选择 GMT。
(可选)启用插件配置。
通过 LogCollector 采集文本日志时,如果业务日志结构复杂、格式不固定,无法通过 JSON 模式等常规的日志采集模式进行解析时,可以通过 LogCollector 插件进行采集后处理。详细说明请参考插件概述。
(可选)启用高级设置。
请根据您的需求选择高级配置。如果没有特殊需求,建议保持默认配置。
配置 | 说明 |
---|---|
过滤器 | 是否开启日志字段过滤规则。默认为关闭状态。开启后,通过正则表达式配置过滤规则,完全匹配正则表达式的日志才会被采集上报,帮助您筛选出有价值的日志数据。 |
上传解析失败日志 | 是否上传解析失败的日志,默认为关闭状态。
|
上传hostname字段 | 是否上传 hostname 字段,默认为关闭状态。
|
解析采集路径 | 通过正则表达式提取采集路径中的字段,并将其作为元数据添加到日志数据中。此功能默认为关闭状态。
|
HashKey路由Shard | 指定 HashKey 将数据写入到符合范围要求的日志分区。此功能默认为关闭状态。
|
上传原始日志 | 是否将原始日志作为一个字段上传到日志服务,默认为关闭状态。
|
上传常量字段 | 开启后,LogCollector 会将指定字段的 Key 和 Value 封装到每一条日志中。常量字段需遵循以下限制:
|
扩展配置 | LogCollector 扩展配置,JSON 对象格式。目前支持的参数包括 CloseInactive、CloseRemoved、CloseRenamed、CloseEOF 和 CloseTimeout。详细的参数说明请参考CreateRule中的数据结构Advanced。 |
确认采集配置,并单击下一步。
创建采集配置之后,LogCollector 将根据指定规则开始监听日志文件并采集日志。日志服务会将日志数据保存在指定的日志主题中,您可以在日志主题中执行检索分析操作。