You need to enable JavaScript to run this app.
导航

单行全文模式

最近更新时间2023.11.22 17:29:23

首次发布时间2022.01.13 21:46:13

从服务器上采集文本日志时,需要通过日志服务控制台创建采集配置。采集配置支持单行全文模式,即以换行符(\n)为日志结束的标识符,不对日志内容进行结构化处理。

背景信息

单行日志模式用于采集单行的文本日志。在单行文本日志中,一行日志数据即为一条日志,换行符(\n)为日志结束的标识符。如果无需对日志内容进行结构化、提取日志字段进行精细化分析查询,建议使用单行日志模式采集日志。
单行全文模式下,日志服务对 LogCollector 采集到的原始日志数据进行以下处理。

  • 日志时间为采集日志时 LogCollector 所在服务器的系统时间。

  • 日志中增加以下元数据字段,并默认为其创建索引。

    预留字段

    说明

    __content__

    该字段中封装原始的日志数据。该字段未预置索引,若需检索日志,需要手动开启全文索引。

    __path__

    日志的源文件目录与文件名。

    __source__

    日志源服务器的 IP 地址。

日志样例

常见的单行日志样例如下:

10: URL_REQUEST https://clientservices.googleapis.com/chrome-variations/seed?osname=win&channel=stable&milestone=86 Start Time: 2020-10-19 12:27:35.822

通过单行全文模式采集以上单行日志时,日志服务会对日志全文进行字段封装,最终保存在服务端的日志数据为:

__content__:10: URL_REQUEST https://clientservices.googleapis.com/chrome-variations/seed?osname=win&channel=stable&milestone=86 Start Time: 2020-10-19 12:27:35.822
__path__:net/log/net_log_event.log
__source__:172.30.07.**

前提条件

操作步骤

步骤一 填写初始配置

  1. 登录日志服务控制台
  2. 在顶部导航栏中选择日志服务所在的地域。
  3. 在左侧导航栏中选择日志服务 > 日志项目管理,并单击指定的日志项目名称。
  4. 在左侧导航栏中单击日志接入
  5. LogCollector日志采集区域选择日志采集的模式。
  6. 填写初始配置。
    1. 选择日志主题。
      选择日志主题,采集到的日志数据会存储在指定主题中,以日志主题为维度进行查询和分析。 如果没有合适的日志主题,可以根据页面提示创建新的日志主题。
    2. 配置机器组。
      全部机器组区域中选择需要采集日志的机器组,并在已选机器组区域中确认选择的机器组是否正确。
    3. 单击下一步

步骤二 配置采集规则

  1. 填写规则名称
    规则名称即 LogCollector 采集配置的名称。需要满足以下要求:

    • 只支持小写英文字母、中文、和连字符(-)。
    • 必须以小写英文字母、中文、数字开头或结尾。
    • 长度为 3~63 个字符。

    您也可以单击导入其他采集配置,选择当前账号下指定日志项目中的指定采集配置,将已创建的其他采集配置导入到当前新配置中。新配置的采集规则默认和指定配置相同,您只需要指定采集规则名称即可。

  2. 选择是否启用容器日志采集
    采集宿主机日志及 Sidecar 方式采集容器日志时,此配置应维持默认的关闭状态。

  3. 填写采集路径
    采集路径即日志所在的目录和文件名,LogCollector 会按照采集路径中的目录部分匹配符合规则的目录,监听这些目录下符合规则的日志文件。最多设置 10 个不同的采集路径。
    采集路径可以指定完整的目录和文件名,也可以通过通配符模糊匹配。

    说明

    • 默认情况下,一个日志文件只能被采集到一个日志主题中,且只能匹配一个采集配置,如果多个采集配置重复采集同一个文件,则以最新的采集配置规则为准。如果一个文件需要被采集多份,建议为源文件创建多个软链接,不同的日志主题采集不同的软链接。
    • 日志采集路径中指定通配符**时,表示多层目录匹配,仅在此时,日志服务才会监听指定目录下深至8级的子目录。
    • 日志服务目前支持的通配符包括星号(*)、双星号(**)和半角问号(?)。双星号(**)最多只能配置一个。

    常见的采集路径的配置方式及示例如下。

    配置方式

    日志路径示例

    说明

    完整名称

    /var/log/access.log

    指定完整的目录和文件名,不包含通配符,表示监听指定目录下的指定文件,不监听其子目录。
    例如,左侧示例表示监听 /var/log 目录下名为 access.log 的日志文件。

    文件名模糊匹配

    /var/log/*.log

    不指定文件名,表示监听所有日志文件;指定部分文件名规则,表示监听符合规则的部分文件。
    例如,左侧示例表示监听 /var/log 目录下,文件格式为 .log 的日志文件。

    路径模糊匹配

    /var/log/**/access.log
    /var/log/*/access.log

    通过*模糊匹配路径时,仅监听一级目录中的日志文件;通过**模糊匹配路径时,表示监听一级及其子目录下的日志文件,目录深度最大为 8。
    例如,/var/log/**/access.log 表示监听 /var/log 目录及其子目录下名为 access.log 的日志文件,目录深度最大为 8。

  4. 设置采集路径黑名单
    配置采集路径黑名单之后,日志服务通过 LogCollector 采集日志时,会忽略指定的目录和文件。选择启用后,请根据页面提示设置黑名单目录和文件。

    说明

    • 每个采集配置中最多设置 10 条采集路径黑名单。
    • 如果您在配置日志路径时使用了通配符,但又需要过滤掉其中部分目录或文件时,需要在黑名单中填写对应的完整路径或文件名来保证过滤生效。例如采集路径为/var/log/project/*.log,需要过滤其中/var/log/project目录下的所有子目录,则采集路径黑名单应设置为目录路径,配置路径为/var/log/project/**

    采集路径黑名单中的路径类型支持设置为目录路径文件路径

    配置

    说明

    目录路径

    采集时忽略指定的目录。目录路径支持完整匹配和通配符模式匹配。

    • 完整匹配:指定完整的目录名称,例如 /var/log/mydata/new
    • 通配符匹配:目录中包含通配符,支持的通配符包括星号(*)和半角问号(?)。例如 /var/log/mydata/n* 表示不采集目录 /var/log/mydata/ 下以 n 开头的目录。

    文件路径

    采集时忽略指定的文件,需配置文件路径及文件名。文件路径支持完整匹配和通配符模式匹配。

    • 完整匹配:指定完整的路径及文件名称,例如 /var/log/mydata/access.log
    • 通配符匹配:路径及文件名中包含通配符,支持的通配符包括星号(*)半角问号(?)和双星号(**)。通配符中,双星号(**)最多只能配置一个。例如 /data/nginx/log/*/*/access.log 表示不采集目录 /data/nginx/log 及其一级和二级目录中名为 access.log 的日志文件。

    图片

  5. 设置采集策略
    采集策略表示 LogCollector 采集增量日志还是全量日志。默认为增量日志。

    配置

    说明

    全量

    LogCollector 从每个文档的起始位置开始采集日志,此时 LogCollector 会采集历史日志数据。

    增量

    LogCollector 采集日志时,只采集文件内新增的内容。监控范围内的日志文件写入新的日志时,触发 LogCollector 日志采集行为。对于首次采集的日志文件:

    • 如果新文件不超过 1024 KiB,从新文件的起始位置开始首次采集。
    • 如果新文件大于 1024 KiB,从新文件的末尾位置开始首次采集,即仅采集增量日志。

    图片

  6. 指定采集模式
    采集模式即 LogCollector 解析日志文件的模式,此处请配置为单行全文模式。
    在单行全文模式下,以 \n 作为一条日志的结束符,每行日志都会被封装到字段 __content__ 中。原始日志本身不再进行结构化处理。

  7. (可选)启用插件配置
    通过 LogCollector 采集文本日志时,如果业务日志结构复杂、格式不固定,无法通过 JSON 模式等常规的日志采集模式进行解析时,可以通过 LogCollector 插件进行采集后处理。详细说明请参考插件概述

  8. (可选)启用高级设置
    请根据您的需求选择高级配置。如果没有特殊需求,建议保持默认配置。

    配置

    说明

    过滤器

    是否开启日志字段过滤规则。默认为关闭状态。开启后,通过正则表达式配置过滤规则,完全匹配正则表达式的日志才会被采集上报,帮助您筛选出有价值的日志数据。
    图片

    上传解析失败日志

    是否上传解析失败的日志,默认为关闭状态。

    • 开启:所有解析失败的日志,均以指定字段作为键名称(Key),原始日志内容作为值(Value)上传到日志服务。其中键名称可以通过失败日志键名称指定,默认为 LogParseFailed
    • 关闭:解析失败的日志不上传到日志服务。

    图片

    上传hostname字段

    是否上传 hostname 字段,默认为关闭状态。

    • 开启:在原始日志中增加一个字段,用于记录日志源的 hostname。字段名可以通过 hostname键名称指定,默认为 hostname

    • 关闭:不添加 hostname 字段。

    解析采集路径

    通过正则表达式提取采集路径中的字段,并将其作为元数据添加到日志数据中。此功能默认为关闭状态。
    开启此功能后,您需要设置采集路径样例、提取正则表达式和提取结果。

    • 采集路径样例:实际场景的采集路径样例。
      • 采集路径样例必须是一个绝对路径。
      • 路径样例中不能包含通配符*?**
    • 提取正则表达式:用于提取路径字段的正则表达式。必须和采集路径样例匹配,否则无法成功提取。
    • 提取结果:提取结果中展示日志服务根据正则表达式将路径样例解析并提取到的每个字段值(Value)。您需要为每个字段指定字段名称(Key)。
      • 最多配置 100 个字段名。
      • 字段名不可为空,且不可重复。

    图片

    HashKey路由Shard

    指定 HashKey 将数据写入到符合范围要求的日志分区。此功能默认为关闭状态。

    • 开启此功能,表示使用 HashKey 路由 Shard 模式采集数据,将数据有序写入到指定 Shard 中。适用于数据写入和消费对有序性要求较高的场景。 此时需要设置 HashKey,日志服务会将数据写入到包含该 Key 值的 Shard 中。HashKey 的取值范围为 [00000000000000000000000000000000-ffffffffffffffffffffffffffffffff)。
    • 关闭此功能,表示使用负载均衡模式采集数据,自动根据负载均衡原则将数据包写入当前可用的任一 Shard 中。该模式适用于写入和消费行为与 Shard 无关的场景,例如不保序。

    图片

    上传原始日志

    是否将原始日志作为一个字段上传到日志服务,默认为关闭状态。

    • 开启:原始的日志数据将被封装在指定字段中,和解析后的日志数据一起上传到日志服务中。字段名可以通过原始日志键名称指定,默认为 __raw__
    • 关闭:不添加原始日志字段。

    图片

    上传常量字段

    开启后,LogCollector 会将指定字段的 Key 和 Value 封装到每一条日志中。常量字段需遵循以下限制:

    • 支持上传最多 5 个常量字段。
    • 字段名(Key)不可重复,不可为空。长度限制为 1~128 字符,包括英文字母、数字、和特殊字符(-_./),且不能以下划线开头。
    • 字段值(Value)不可为空,长度最大为 512 KiB。

    图片

    扩展配置

    LogCollector 扩展配置,JSON 对象格式。目前支持的参数包括 CloseInactive、CloseRemoved、CloseRenamed、CloseEOF 和 CloseTimeout。详细的参数说明请参考 Advanced
    例如填写以下配置,表示日志文件持续 10 秒没有新日志写入、日志文件被移除或重命名、LogCollector 读取至文件末尾、日志文件监控时长超过 30 分钟后,释放文件句柄。
    图片

  9. 确认采集配置,并单击下一步

步骤三 更新索引

  1. 更新索引。
    根据页面提示,按需设置或更新索引。索引默认为关闭状态,启用索引后才能检索分析采集到的日志数据。

    • 若此日志主题未设置索引,可以参考文档配置索引进行设置。
    • 若此日志主题已设置索引,可以根据采集规则中解析的日志字段判断是否需要更新索引。

    说明

    更新后的索引设置仅对后续写入的新数据生效。其他检索分析的使用说明及限制请参考检索概述分析概述

  2. 确认索引配置,并单击提交

后续步骤

创建采集配置之后,LogCollector 会根据指定规则开始监听日志文件并采集日志,日志数据将保存在指定的日志主题中。
日志索引默认为关闭状态,您需要为日志主题开启索引功能,并配置索引,才能在控制台中对采集到的日志数据进行查询分析。