文档中心

消费与投递概述

最近更新时间：2023.11.13 16:31:40

首次发布时间：2023.09.18 17:14:42

日志服务提供实时的数据消费与投递功能，支持将采集到日志服务中的数据通过 SDK 消费到第三方工具系统中，或投递到火山引擎 TOS 等其他产品中，用于后续的日志处理与大数据计算分析。

功能概述

日志服务提供实时的数据消费与投递功能，用于大数据实时计算、离线分析、长期存储归档等场景。

日志消费指各种第三方工具、流式计算框架等应用或系统通过日志服务提供的 SDK 等其他方式实时消费日志主题中的数据。日志消费功能支持按写入顺序读取日志服务中的数据，使日志服务可以作为信息流转的数据管道，对接各种下游消费系统。
日志投递指将日志服务采集的数据投递到火山引擎 TOS 等其他产品中，用于长期存储低频访问数据、对接其他系统消费、分析数据等场景。

日志消费和日志投递的功能对比如下：

关键特性	消费	投递
使用场景	实时计算、数据分析	数据的长期存储、离线分析
使用方式	自行代码实现	控制台向导配置
数据实时性	实时	离线
原文格式	原始日志	原始日志、JSON、CSV
数据压缩格式	不压缩、snappy、gzip、lz4	不压缩、snappy、gzip、lz4
使用方案	普通消费、消费组消费、Kafka 协议消费	火山引擎 TOS、Kafka
应用场景	流式计算，即将日志数据实时消费到下游流式计算系统中。数据仓库/离线计算，即将日志数据时消费到下游的大数据组件或者数据仓库中。	数据归档，例如将日志数据投递到低频存储，便于审计合规或数据归档。流式计算，即将日志数据实时消费到下游流式计算系统中。

功能	方案	说明	相关文档
数据消费	通过 Kafka 协议消费日志	通过流式计算框架 Kakfa 协议实时消费日志主题中的数据到第三方工具或系统中。	通过 Kafka 协议消费日志通过 Spark Streaming 消费日志通过 Flink 消费日志通过 ByteHouse 消费日志
	普通消费	通过日志服务提供的 ConsumeLogs API 消费日志主题中的数据。	通过 ConsumeLogs 消费日志
	通过消费组消费	将多语言应用作为消费组消费日志服务中的数据。	通过消费组消费数据
数据投递	投递数据到 TOS	将日志数据按照指定的投递规则投递到火山引擎对象存储产品中，用于数据的长期存储与归档。	投递日志到 TOS
数据投递	投递日志到 Kafka	将日志数据按照指定的投递规则投递到火山引擎消息队列 Kafka版，用于下游第三方系统消费。	投递日志到 Kafka

日志消费和日志投递功能涉及的计费项如下，详细的计费规则请参考计费项。

功能概述

消费与投递方案

费用说明