You need to enable JavaScript to run this app.
导航

JSON 模式

最近更新时间2024.02.27 14:19:48

首次发布时间2022.03.04 14:18:49

日志服务提供基于 LogCollector 的服务器文本日志采集功能,支持 JSON 模式下快速采集 JSON 日志。本文介绍在控制台中创建 JSON 模式采集配置的操作步骤。

背景信息

日志服务 LogCollector 支持采集并解析 Object 类型的 JSON 日志,解析时会根据 JSON 格式提取每条日志的第一级 Key,每条完整的日志以换行符 \n 为结束标识符。
在 JSON 模式下,日志服务对 LogCollector 采集到的每一条原始日志数据进行以下处理。

  • 提取 Object 首层的键(Key)作为字段名称,Object 首层的值(Value)作为字段值。

  • 日志时间可使用采集日志时 LogCollector 所在服务器的系统时间,或通过使用采集时间指定为日志时间字段中的时间。

  • 日志中增加以下元数据字段,并默认为其创建索引。

    预留字段

    说明

    __path__

    日志的源文件目录与文件名。

    __source__

    日志源服务器的 IP 地址。

前提条件

操作步骤

步骤一 填写初始配置

  1. 登录日志服务控制台
  2. 在顶部导航栏中选择日志服务所在的地域。
  3. 在左侧导航栏中选择日志服务 > 日志项目管理,并单击指定的日志项目名称。
  4. 在左侧导航栏中单击日志接入
  5. LogCollector日志采集区域选择日志采集的模式。
  6. 填写初始配置。
    1. 选择日志主题。
      选择日志主题,采集到的日志数据会存储在指定主题中,以日志主题为维度进行查询和分析。 如果没有合适的日志主题,可以根据页面提示创建新的日志主题。
    2. 配置机器组。
      全部机器组区域中选择需要采集日志的机器组,并在已选机器组区域中确认选择的机器组是否正确。
    3. 单击下一步

步骤二 配置采集规则

  1. 填写规则名称
    规则名称即 LogCollector 采集配置的名称。需要满足以下要求:

    • 只支持小写英文字母、中文、数字和连字符(-)。
    • 必须以小写英文字母、中文、数字开头或结尾。
    • 长度为 3~63 个字符。
      您也可以单击导入其他采集配置,选择日志Region日志项目采集配置,将已创建的其他采集配置导入到当前新配置中。新配置的采集规则默认和指定配置相同,您只需要指定采集规则名称即可。
  2. 选择是否启用容器日志采集
    采集宿主机日志及 Sidecar 方式采集容器日志时,此配置应维持默认的关闭状态。

  3. 填写采集路径
    采集路径即日志所在的目录和文件名,LogCollector 会按照采集路径中的目录部分匹配符合规则的目录,监听这些目录下符合规则的日志文件。最多设置 10 个不同的采集路径。
    采集路径可以指定完整的目录和文件名,也可以通过通配符模糊匹配。

    说明

    • 默认情况下,一个日志文件只能被采集到一个日志主题中,且只能匹配一个采集配置,如果多个采集配置重复采集同一个文件,则以最新的采集配置规则为准。如果一个文件需要被采集多份,建议为源文件创建多个软链接,不同的日志主题采集不同的软链接。
    • 日志采集路径中指定通配符**时,表示多层目录匹配,仅在此时,日志服务才会监听指定目录下深至8级的子目录。
    • 日志服务目前支持的通配符包括星号*、双星号**和半角问号?。双星号**最多只能配置一个。

    常见的采集路径的配置方式及示例如下。

    配置方式

    日志路径示例

    说明

    完整文件名称

    /var/log/access.log

    指定完整的目录和文件名,不包含通配符,表示监听指定目录下的指定文件,不监听其子目录。
    例如,左侧示例表示监听 /var/log 目录下名为 access.log 的日志文件。

    文件名模糊匹配

    /var/log/*.log

    不指定文件名,表示监听所有日志文件;指定部分文件名规则,表示监听符合规则的部分文件。
    例如,左侧示例表示监听 /var/log 目录下,文件格式为 .log 的日志文件。

    路径模糊匹配

    /var/log/**/access.log
    /var/log/*/access.log
    /var/log/*

    通过*模糊匹配路径时,仅监听一级目录中的日志文件;通过**模糊匹配路径时,表示监听一级及其子目录下的日志文件,目录深度最大为 8。
    例如:

    • /var/log/**/access.log 表示监听 /var/log 目录及其子目录下名为 access.log 的日志文件,目录深度最大为 8。
    • /var/log/*表示监听 /var/log 目录及其子目录下所有的日志文件,目录深度最大为 8。
  4. 设置采集路径黑名单
    配置采集路径黑名单之后,日志服务通过 LogCollector 采集日志时,会忽略指定的目录和文件。选择启用后,请根据页面提示设置黑名单目录和文件。

    说明

    • 每个采集配置中最多设置 10 条采集路径黑名单。
    • 如果您在配置日志路径时使用了通配符,但又需要过滤掉其中部分目录或文件时,需要在黑名单中填写对应的完整路径或文件名来保证过滤生效。例如采集路径为/var/log/project/*.log,需要过滤其中/var/log/project目录下的所有子目录,则采集路径黑名单应设置为目录路径,配置路径为/var/log/project/**

    采集路径黑名单中的路径类型支持设置为目录路径文件路径

    配置

    说明

    目录路径

    采集时忽略指定的目录。目录路径支持完整匹配和通配符模式匹配。

    • 完整匹配:指定完整的目录名称,例如 /var/log/mydata/new
    • 通配符匹配:目录中包含通配符,支持的通配符包括星号(*)和半角问号(?)。例如 /var/log/mydata/n* 表示不采集目录 /var/log/mydata/ 下以 n 开头的目录。

    文件路径

    采集时忽略指定的文件,需配置文件路径及文件名。文件路径支持完整匹配和通配符模式匹配。

    • 完整匹配:指定完整的路径及文件名称,例如 /var/log/mydata/access.log
    • 通配符匹配:路径及文件名中包含通配符,支持的通配符包括星号(*)半角问号(?)和双星号(**)。通配符中,双星号(**)最多只能配置一个。例如 /data/nginx/log/*/*/access.log 表示不采集目录 /data/nginx/log 及其一级和二级目录中名为 access.log 的日志文件。

    图片

  5. 设置采集策略
    采集策略表示 LogCollector 采集增量日志还是全量日志。默认为增量日志。

    配置

    说明

    全量

    LogCollector 从每个文档的起始位置开始采集日志,此时 LogCollector 会采集历史日志数据。

    增量

    LogCollector 采集日志时,只采集文件内新增的内容。监控范围内的日志文件写入新的日志时,触发 LogCollector 日志采集行为。对于首次采集的日志文件:

    • 如果新文件不超过 1024 KiB,从新文件的起始位置开始首次采集。
    • 如果新文件大于 1024 KiB,从新文件的末尾位置开始首次采集,即仅采集增量日志。

    图片

  6. 指定采集模式
    采集模式即 LogCollector 解析日志文件的模式,此处请配置为JSON模式。
    在 JSON 模式下,以 \n 作为一条日志的结束符,提取 Object 首层的键(Key)作为字段名称,Object 首层的值(Value)作为字段值。

  7. (可选)启用插件配置
    通过 LogCollector 采集文本日志时,如果业务日志结构复杂、格式不固定,无法通过 JSON 模式等常规的日志采集模式进行解析时,可以通过 LogCollector 插件进行采集后处理。详细说明请参考插件概述

  8. (可选)启用高级设置
    请根据您的需求选择高级配置。如果没有特殊需求,建议保持默认配置。

    配置

    说明

    过滤器

    是否开启日志字段过滤规则。默认为关闭状态。开启后,通过正则表达式配置过滤规则,完全匹配正则表达式的日志才会被采集上报,帮助您筛选出有价值的日志数据。
    例如,设置 Key 为response_code,过滤规则为400|500,表示只采集response_code为 400 或 500 类型的日志。
    图片

    上传解析失败日志

    是否上传解析失败的日志,默认为关闭状态。

    • 开启:所有解析失败的日志,均以指定字段作为键名称(Key),原始日志内容作为值(Value)上传到日志服务。其中键名称可以通过失败日志键名称指定,默认为 LogParseFailed
    • 关闭:解析失败的日志不上传到日志服务。

    图片

    上传hostname字段

    是否上传 hostname 字段,默认为关闭状态。

    • 开启:在原始日志中增加一个字段,用于记录日志源的 hostname。字段名可以通过 hostname键名称指定,默认为 hostname
    • 关闭:不添加 hostname 字段。

    图片

    解析采集路径

    通过正则表达式提取采集路径中的字段,并将其作为元数据添加到日志数据中。此功能默认为关闭状态。
    开启此功能后,您需要设置采集路径样例、提取正则表达式和提取结果。

    • 采集路径样例:实际场景的采集路径样例。
      • 采集路径样例必须是一个绝对路径。
      • 路径样例中不能包含通配符*?**
    • 提取正则表达式:用于提取路径字段的正则表达式。必须和采集路径样例匹配,否则无法成功提取。
    • 提取结果:提取结果中展示日志服务根据正则表达式将路径样例解析并提取到的每个字段值(Value)。您需要为每个字段指定字段名称(Key)。
      • 最多配置 100 个字段名。
      • 字段名不可为空,且不可重复。

    图片

    HashKey路由Shard

    指定 HashKey 将数据写入到符合范围要求的日志分区。此功能默认为关闭状态。

    • 开启此功能,表示使用 HashKey 路由 Shard 模式采集数据,将数据有序写入到指定 Shard 中。适用于数据写入和消费对有序性要求较高的场景。 此时需要设置 HashKey,日志服务会将数据写入到包含该 Key 值的 Shard 中。HashKey 的取值范围为 [00000000000000000000000000000000-ffffffffffffffffffffffffffffffff)。
    • 关闭此功能,表示使用负载均衡模式采集数据,自动根据负载均衡原则将数据包写入当前可用的任一 Shard 中。该模式适用于写入和消费行为与 Shard 无关的场景,例如不保序。

    图片

    上传原始日志

    是否将原始日志作为一个字段上传到日志服务,默认为关闭状态。

    • 开启:原始的日志数据将被封装在指定字段中,和解析后的日志数据一起上传到日志服务中。字段名可以通过原始日志键名称指定,默认为 __raw__
    • 关闭:不添加原始日志字段。

    图片

    上传常量字段

    开启后,LogCollector 会将指定字段的 Key 和 Value 封装到每一条日志中。常量字段需遵循以下限制:

    • 支持上传最多 5 个常量字段。
    • 字段名(Key)不可重复,不可为空。长度限制为 1~128 字符,包括英文字母、数字、和特殊字符(-_./),且不能以下划线开头。
    • 字段值(Value)不可为空,长度最大为 512 KiB。

    图片

    使用采集时间

    设置是否使用采集时间使用采集时间默认为开启状态。

    • 开启:采集日志时,将 LogCollector 所在服务器的时间设置为日志时间戳。
    • 关闭:将日志中的指定时间字段作为日志时间戳。此时您需要填写时间键名称时间转换格式

    配置方式:

    • 时间键名称:指定日志中的时间字段名称(Key),此字段值(Value)将作为日志时间戳。例如指定时间键名称为time。请确认指定的时间键名称已在提取结果中被正确解析、提取。
    • 时间转换格式:日志时间字段中的时间格式,日志字段将根据时间转换格式解析时间字段值,并解析后的时间作为日志时间戳记录在服务端。例如时间字段的内容为17/June/2022:20:15:02,可以指定时间转换格式为%d/%b/%Y:%H:%M:%S

    说明

    • 日志时间可精确到毫秒级。
    • 若时间格式填写错误日志时间将以采集时间为准。

    图片

    扩展配置

    LogCollector 扩展配置,JSON 对象格式。目前支持的参数包括 CloseInactive、CloseRemoved、CloseRenamed、CloseEOF 和 CloseTimeout。详细的参数说明请参考 Advanced
    例如填写以下配置,表示日志文件持续 10 秒没有新日志写入、日志文件被移除或重命名、LogCollector 读取至文件末尾、日志文件监控时长超过 30 分钟后,释放文件句柄。
    图片

  9. 确认采集配置,并单击下一步

步骤三 检查索引配置

  1. 检查索引配置。
    根据页面提示,按需设置或更新索引,您也可以单击导入已有索引配置,导入其他日志主题的索引。
    • 若此日志主题未设置索引,可以参考配置索引进行设置。
    • 若此日志主题已设置索引,可以根据采集规则中解析的日志字段判断是否需要更新索引。

    说明

    • 启用索引后,您才能检索分析采集到的日志数据。
    • 更新后的索引设置仅对后续写入的新数据生效。其他检索分析的使用说明及限制请参考检索概述分析概述
  2. 单击完成:检查索引配置

后续步骤

创建采集配置之后,LogCollector 会根据指定规则开始监听日志文件并采集日志,日志数据将保存在指定的日志主题中。
日志索引默认为关闭状态,您需要为日志主题开启索引功能,并配置索引,才能在控制台中对采集到的日志数据进行查询分析。