You need to enable JavaScript to run this app.
导航
消费与投递概述
最近更新时间:2023.11.13 16:31:40首次发布时间:2023.09.18 17:14:42

日志服务提供实时的数据消费与投递功能,支持将采集到日志服务中的数据通过 SDK 消费到第三方工具系统中,或投递到火山引擎 TOS 等其他产品中,用于后续的日志处理与大数据计算分析。

功能概述

日志服务提供实时的数据消费与投递功能,用于大数据实时计算、离线分析、长期存储归档等场景。

  • 日志消费指各种第三方工具、流式计算框架等应用或系统通过日志服务提供的 SDK 等其他方式实时消费日志主题中的数据。日志消费功能支持按写入顺序读取日志服务中的数据,使日志服务可以作为信息流转的数据管道,对接各种下游消费系统。
  • 日志投递指将日志服务采集的数据投递到火山引擎 TOS 等其他产品中,用于长期存储低频访问数据、对接其他系统消费、分析数据等场景。

日志消费和日志投递的功能对比如下:

关键特性

消费

投递

使用场景

实时计算、数据分析

数据的长期存储、离线分析

使用方式

自行代码实现

控制台向导配置

数据实时性

实时

离线

原文格式

原始日志

原始日志、JSON、CSV

数据压缩格式

不压缩、snappy、gzip、lz4

不压缩、snappy、gzip、lz4

使用方案

普通消费、消费组消费、Kafka 协议消费

火山引擎 TOS、Kafka

应用场景

  • 流式计算,即将日志数据实时消费到下游流式计算系统中。
  • 数据仓库/离线计算,即将日志数据时消费到下游的大数据组件或者数据仓库中。
  • 数据归档,例如将日志数据投递到低频存储,便于审计合规或数据归档。
  • 流式计算,即将日志数据实时消费到下游流式计算系统中。

消费与投递方案

功能

方案

说明

相关文档

数据消费

通过 Kafka 协议消费日志

通过流式计算框架 Kakfa 协议实时消费日志主题中的数据到第三方工具或系统中。

普通消费

通过日志服务提供的 ConsumeLogs API 消费日志主题中的数据。

通过 ConsumeLogs 消费日志

通过消费组消费

将多语言应用作为消费组消费日志服务中的数据。

通过消费组消费数据

数据投递

投递数据到 TOS

将日志数据按照指定的投递规则投递到火山引擎对象存储产品中,用于数据的长期存储与归档。

投递日志到 TOS

投递日志到 Kafka

将日志数据按照指定的投递规则投递到火山引擎消息队列 Kafka版,用于下游第三方系统消费。

投递日志到 Kafka

费用说明

日志消费和日志投递功能涉及的计费项如下,详细的计费规则请参考计费项

  • 日志消费功能本身不收取服务费用,但如果通过日志服务公网域名读取日志数据,会产生对应的公网读流量;如果调用日志服务的数据读接口,会产生服务请求次数费用。
  • 日志投递功能收取数据头题的流量费用,根据投递到 TOS 的数据量大小进行计费。