You need to enable JavaScript to run this app.
导航
以 CSV 格式投递
最近更新时间:2024.08.02 11:18:44首次发布时间:2022.11.09 11:47:36

日志服务支持投递日志到 TOS 中,本文档以 JSON 格式为例,介绍创建投递配置的操作流程。

前提条件

  • 已开通日志服务,并成功采集到日志数据。详细说明请参考快速入门
  • 已开通火山引擎对象存储,并在指定日志主题的同一地域创建了存储桶。详细说明请参考创建存储桶
  • 日志服务需要扮演 ServiceRoleForTLS 角色来实现跨服务访问其他云服务资源,即您需要授予日志服务产品访问并写入 TOS 资源的权限。
    如果您还未创建 ServiceRoleForTLS 角色,日志服务会在您创建投递配置时引导您进行操作,推荐使用火山引擎账号进行授权,相关说明请参考跨服务访问授权

操作步骤

  1. 登录日志服务控制台
  2. 在顶部导航栏中,选择日志服务所在的地域。
  3. 在左侧导航栏中,选择数据处理 > 日志投递
  4. 日志投递页面,单击创建 TOS 投递配置
  5. 创建 TOS 投递配置页面,完成如下配置。
    1. 配置基本信息。

      参数

      说明

      配置名称

      日志投递配置的名称。

      源日志项目

      在下拉列表中选择数据源所在的日志项目。

      源日志主题

      在下拉列表中选择数据源所在的日志主题。

    2. 配置投递对象信息。

      参数

      说明

      目标存储桶

      选择 TOS 存储桶,必须与源日志主题位于同一地域。
      如果没有合适的存储桶,您可以参考页面提示创建新的存储桶。

      投递目录

      存储桶的顶级目录名称。通过此投递配置投递的所有日志数据均将被投递到该目录下。

      分区格式

      存储桶中的子目录命名格式。日志服务会在指定投递目录下,按照投递配置的创建时间动态生成存储桶中的子目录。
      子目录命名格式支持 strftime 语法,默认设置为 %Y/%m/%d/%H/%M,例如 2022/06/30/14/00。

    3. 配置投递数据格式。

      参数

      说明

      压缩类型

      日志数据支持根据指定的压缩格式压缩后再投递到对象存储 TOS 中,帮助您节省读流量费用。压缩类型支持以下设置:

      • snappy
      • gzip
      • lz4
      • 不压缩

      投递格式

      数据被投递到 TOS 后,支持存储为 JSON 格式或 CSV 格式。
      本文档以 CSV 格式为例,投递成功后,CSV 文件的表头为各个投递字段。

      投递字段

      以 CSV 格式投递时,您可以选择需要投递的字段。

    4. 配置投递规则。
      投递规则用于指定数据投递行为的触发规则。创建投递配置后,日志服务将持续记录距离上次投递的间隔时间,达到指定的时间间隔时,会将每个分区的日志数据分别打包投递至对象存储 TOS。如果某些分区的新数据量超过指定的投递文件大小,则自动切片以满足大小要求。

      说明

      • 每个投递文件对应对象存储中的一个 Object。
      • 投递文件大小指投递前未压缩的原始数据量。如果开启了压缩功能,则投递后保存在 TOS 中的文件会小于投递文件大小,节约存储成本。

      参数

      说明

      投递文件大小

      每个分区(Shard)需要投递的原始文件大小,即未压缩的日志文件大小。单位为 MiB,取值范围为 5~256。

      投递时间间隔

      投递日志的时间间隔。单位为秒,取值范围为 60~900。

      投递时间范围

      投递指定时间范围内的日志数据。

      • 开始时间:待投递的日志数据最早的写入时间。默认开始时间为当前时刻,支持选择历史时刻,即创建投递规则之前采集到的日志数据也可以被投递到 TOS。
      • 结束时间:待投递的日志数据最晚的写入时间,日志服务不投递此时刻之后采集的日志数据。未填写结束时间时,表示持续投递最新写入的日志数据。

      说明

      投递配置创建完成后,无法修改投递时间范围。

    5. 单击提交

后续操作

成功创建投递配置后,日志服务会自动将任务状态设置为开启,并触发一次数据投递。您可以在日志投递页面查看投递配置的名称等信息,详细说明请参考查看投递任务;也可以直接在对象存储控制台查看已投递的日志数据。