You need to enable JavaScript to run this app.
导航
采集概述
最近更新时间:2024.07.19 16:17:54首次发布时间:2023.09.14 22:17:11

火山引擎日志服务提供 LogCollector、SDK 等多种日志采集方式,适用于宿主机、容器、移动端、云产品等各种数据源的日志数据采集场景。本文档介绍日志服务支持的采集方式及采集方案。

功能概述

日志服务提供日志采集工具 LogCollector、多语言 SDK 等日志采集方式,兼容 Kafka 协议、OpenTelemetry 协议等多种开源协议框架,支持主机应用、K8s 集群、移动客户端、火山引擎云产品、其他云厂商等多种来源的日志类数据采集。
您可以在控制台首页或指定日志主题的日志接入页面选择日志接入的方式,并通过简单的配置快速将日志数据接入火山引擎日志服务中。日志写入到日志主题并设置索引后,可以在日志检索页面实时预览采集到的日志数据,并通过日志服务提供的检索分析语法进行进一步查询分析,实现数据可视化等其他高级功能。

采集方式

采集方式

说明

LogCollector 采集

通过日志服务提供的日志采集工具 LogCollector 可以采集宿主机或容器的应用日志,支持单行全文等多种采集模式、数据脱敏等多种采集插件。
通过 LogCollector 快速接入日志服务的流程请参考快速入门

Kafka 协议

日志服务支持通过 Kafka 协议上传日志数据到服务端,即可以使用 Kafka Producer SDK 来采集日志数据,并通过 Kafka 协议上传到日志服务。
详细信息请参考使用 Kafka 协议上传日志

OpenTelemetry 协议

Trace 服务基于原生的 OpenTelemetry 协议与标准,支持各类 Trace 数据的接入、存储、检索分析、可视化等功能。
详细信息请参考 Trace 功能概述

API 方式采集

日志服务提供上传日志的 OpenAPI 接口,用于上传结构化的日志到指定日志主题。
详细信息请参考 PutLogs

SDK 方式采集

日志服务提供多语言的 SDK,通过 SDK 调用 OpenAPI 接口 PutLogs 可以上传日志到指定日志主题。
详细信息请参考 SDK 概述

采集方案

数据源类型

日志来源

说明

相关文档

OS 系统

Linux

通过 LogCollector 采集 Linux 操作系统日志,支持火山引擎云服务器、自建 IDC、其他云厂商服务器。

安装 LogCollector

K8s 集群

支持自建 K8s 集群、火山引擎容器服务或其他云厂商的 K8s 集群日志采集。
支持采集的数据类型:

  • 文本日志
  • 标准输出、标准错误

容器采集概述

iOS

通过日志服务提供的 iOS SDK 采集日志数据。

iOS SDK

Android

通过日志服务提供的 Android SDK 采集日志数据。

Android SDK

应用程序

应用程序输出日志

通过 LogCollector 采集各种系统与应用的输出日志。

安装 LogCollector

Web 页面

通过 Web Tracking 采集网页应用的日志数据。

使用 Web Tracking 采集日志

链路跟踪

Trace 服务基于原生的 OpenTelemetry 协议与标准,支持各类 Trace 数据的接入、存储、检索分析、可视化等功能。

Trace 功能概述

Logstash

只需修改 Logstash 配置文件,即可通过 Logstash 内置 Kafka 输出插件(logstash_output_kafka)上传日志数据到日志服务。

使用 Kafka 协议上传日志

语言

Logback Appender

只需通过 XML 文件简单配置即可上报日志到日志服务,具有异步发送、高性能、失败重试等特性,适用于高并发场景。

TLS Logback Appender

数据导入

火山引擎对象存储 TOS

从 TOS 中存储的数据进行结构化,并保存在日志服务中。目前仅支持导入历史数据。

从 TOS 导入日志

阿里云日志服务 SLS

从阿里云日志服务的 Logstore 中导入数据,此外还还支持导入 SLS 的日志采集配置。

Elasticsearch 集群

从火山引擎、自建或其他云厂商的 Elasticsearch 集群中导入数据。目前仅支持导入历史数据。

从 Elasticsearch 导入数据

火山引擎云产品

CDN、TOS 等火山引擎云产品

日志服务支持采集容器服务、对象存储等多种云产品的日志数据,例如容器日志、访问日志等。

云产品日志采集

费用说明

将日志写入到日志服务中,涉及到日志存储写流量日志分区数量费用,如果通过 API 或 SDK 写入日志数据,还会产生服务请求次数费用。详细的计费规则请参考计费项
云服务日志提供一定免费额度,详细计费策略请参考各个云服务的产品文档。

限制说明

将日志数据写入到日志服务时,应注意以下写入限制。关于日志服务的基础资源配额、读写流量限额、查询分析并发等限制,请参考使用限制