You need to enable JavaScript to run this app.
导航

以 JSON 格式投递

最近更新时间2023.12.21 18:01:27

首次发布时间2022.11.09 11:47:36

日志服务支持投递日志到 TOS 中,本文档以 JSON 格式为例,介绍创建投递配置的操作流程。

前提条件

  • 已开通日志服务,并成功采集到日志数据。详细说明请参考快速入门
  • 已开通火山引擎对象存储,并在指定日志主题的同一地域创建了存储桶。详细说明请参考创建存储桶
  • 首次使用日志投递到 TOS 功能之前,需要完成云资源访问授权,即授予日志服务产品访问并写入 TOS 资源的权限。日志服务会在控制台创建投递配置时引导您进行操作,推荐使用火山引擎账号进行授权,相关说明请参考跨服务访问授权

操作步骤

  1. 登录日志服务控制台

  2. 在左侧导航栏中选择日志服务 > 日志项目管理

  3. 找到指定的日志项目,单击项目名称。

  4. 在左侧导航栏中,单击日志投递
    如果是首次使用日志投递功能,您需要根据控制台提示完成云资源访问授权,授予日志服务产品访问并写入 TOS 资源的权限。推荐使用火山引擎账号进行操作。

  5. 填写投递配置的基本信息。

    配置

    说明

    投递类型

    默认为对象存储TOS,表示投递日志数据到对象存储 TOS。

    配置名称

    日志投递配置的名称。需满足以下要求:

    • 长度为 3~63 个字符。
    • 支持小写字母、中文、数字、连字符(-)。
    • 必须以小写字母、中文、数字开头或结尾。

    源日志主题

    在下拉列表中选择数据源所在的日志主题。

  6. 填写投递配置的投递对象信息。

    配置

    说明

    目标存储桶

    日志数据投递的目标存储桶,必须与源日志主题位于同一地域。
    如果没有合适的存储桶,您可以参考页面提示创建新的存储桶。

    投递目录

    日志数据在存储桶中的顶级目录名称。指定日志主题的所有日志数据均保存在此处指定的文件夹下。

    分区格式

    存储桶中的子目录命名格式。日志服务会在指定投递目录下,按照投递配置的创建时间动态生成存储桶中的子目录。
    子目录命名格式支持 strftime 语法,默认设置为 %Y/%m/%d/%H/%M,即格式为/年/月/日/小时/,例如 2022/06/30/14/00。

  7. 填写投递配置的投递数据格式。

    配置

    说明

    压缩类型

    日志数据支持根据指定的压缩格式压缩后再投递到对象存储 TOS 中,帮助您节省读流量费用。压缩类型支持以下设置:

    • snappy
    • gzip
    • lz4
    • 不压缩

    投递格式

    支持以 JSON 和 CSV 格式投递,本文档以 JSON 格式为例。

    投递字段

    以 JSON 格式投递时,必须投递所有字段,包括 __source__ 等日志服务为每条日志默认添加的元数据字段。

  8. 填写投递配置的投递规则。
    投递规则用于指定数据投递行为的触发规则。创建投递配置后,日志服务将持续记录距离上次投递的间隔时间,达到指定的时间间隔时,会将每个分区的日志数据分别打包投递至对象存储 TOS。如果某些分区的新数据量超过指定的投递文件大小,则自动切片以满足大小要求。

    说明

    • 每个投递文件对应对象存储中的一个 Object。
    • 投递文件大小指投递前未压缩的原始数据量。如果开启了压缩功能,则投递后保存在 TOS 中的文件会小于投递文件大小,节约存储成本。

    配置

    说明

    投递文件大小

    每个分区(Shard)需要投递的原始文件大小,即未压缩的日志文件大小。单位为 MiB,取值范围为 5~256。

    投递时间间隔

    投递日志的时间间隔。单位为秒,取值范围为 60~900。

    投递时间范围

    投递指定时间范围内的日志数据。

    • 开始时间:待投递的日志数据最早的写入时间。默认开始时间为当前时刻,支持选择历史时刻,即创建投递规则之前采集到的日志数据也可以被投递到 TOS。
    • 结束时间:待投递的日志数据最晚的写入时间,日志服务不投递此时刻之后采集的日志数据。未填写结束时间时,表示持续投递最新写入的日志数据。

    说明

    投递配置创建完成后,不支持修改投递时间范围。

  9. 单击提交,完成投递配置的配置。

后续操作

成功创建投递配置后,日志服务会自动将任务状态设置为开启,并触发一次数据投递。您可以在日志投递页面查看投递配置的名称等信息,详细说明请参考查看投递任务;也可以直接在对象存储控制台查看已投递的日志数据。