hello,大家好,我是张张,「架构精进之路」公号作者。 在 MySQL 中我们经常会接触到三个核心日志,它们分别是:binlog 、redo log、undo log。好多同学对于它们可能并不陌生,但是具体区分起来各自的功能用途以及实现原理,那可能认知就会比较模糊了,今天就跟大家一起,来清晰明了的介绍一下这些日志的核心思想和功能原理。## 1 binlog### 1.1 binlog 设计目标binlog 记录了对 MySQL 数据库执行更改的所有的写操作,包括所...
在某客户日志数据迁移到火山引擎使用 ELK 生态的案例中,由于客户反馈之前 Logstash 经常发生数据丢失和收集性能较差的使用痛点,我们尝试使用 Flink 替代了传统的 Logstash 来作为日志数据解析、转换以及写入 ElasticSearch 的组件,得到了该客户的认可,并且已经成功协助用户迁移到火山。目前,Flink 已经支持该业务高峰期 1000+k/s 的数据写入。本文主要介绍 Logstash 的使用痛点以及迁移到 Flink 的优势,探索在 ELK 生态中,Flin...
在某客户日志数据迁移到火山引擎使用 ELK 生态的案例中,由于客户反馈之前 Logstash 经常发生数据丢失和收集性能较差的使用痛点,我们尝试使用 Flink 替代了传统的 Logstash 来作为日志数据解析、转换以及写入 ElasticSearch 的组件,得到了该客户的认可,并且已经成功协助用户迁移到火山。目前,Flink 已经支持该业务高峰期 1000+k/s 的数据写入。本文主要介绍 Logstash 的使用痛点以及迁移到 Flink 的优势,探索在 ELK 生态中,Fli...
在某客户日志数据迁移到火山引擎使用 ELK 生态的案例中,由于客户反馈之前 Logstash 经常发生数据丢失和收集性能较差的使用痛点,我们尝试使用 Flink 替代了传统的 Logstash 来作为日志数据解析、转换以及写入 ElasticSearch 的组件,得到了该客户的认可,并且已经成功协助用户迁移到火山。目前,Flink 已经支持该业务高峰期 1000+k/s 的数据写入。本文主要介绍 Logstash 的使用痛点以及迁移到 Flink 的优势,探索在 ELK 生态中,Flink ...
日志服务支持通过 PutLogs 接口同步请求的方式上传日志。如果选择使用 PutLogs 上传日志,建议您一次性聚合多条日志后调用一次 PutLogs 接口。相对于逐条上传日志的方式,日志聚合后上传可以提升吞吐率并避免触发限流。 Producer 推荐。在实际生产环境中,为了提高数据写入效率,建议通过 Go Producer 方式写入日志数据。Producer 用于在海量数据、高并发场景下快速发送日志数据,具有异步发送、高性能、失败重试、优雅关闭等特性。...
例如使用典型的开源日志平台 Filebeat+Logstash+ES+Kibana 的方案。但是在使用过程中,我们发现了开源日志系统的不足:- 各业务模块自己搭建日志系统,造成重复建设。- 以 ES 为中心的日志架构可以利用 ES 查询便利的优势,但是资源开销大、成本高。而且 ES 与 Kibana 在界面上强绑定,不利于功能扩展。- 开源方案一般采用单机 yaml 做采集配置,当节点数很多的时候,配置非常繁琐。- 开源系统的采集配置难以管理,数据源也比较单一...
日志服务提供 Kafka 协议消费功能,可以将一个日志主题当作一个 Kafka Topic 来消费,每条日志对应一条 Kafka 消息。您可以使用 Flink kafka 连接器连接日志服务,通过 Flink 任务将日志服务中采集的日志数据消费到下游的大数据组件或者数据仓库。本文通过 Flink SQL 任务,实现读取 TLS 主题中的日志数据,然后写入到 ESCloud 索引中。 流程介绍 准备数据源 TLS 主题。您需要在日志服务控制台创建一个日志项目,然后创建一个日志主题,...
日志服务提供 Kafka 协议消费功能,可以将一个日志主题当作一个 Kafka Topic 来消费,每条日志对应一条 Kafka 消息。您可以使用 Flink kafka 连接器连接日志服务,通过 Flink 任务将日志服务中采集的日志数据消费到下游的大数据组件或者数据仓库。本文通过 Flink SQL 任务,实现读取 TLS 主题中的日志数据,然后写入到 ESCloud 索引中。 流程介绍 准备数据源 TLS 主题。您需要在日志服务控制台创建一个日志项目,然后创建一个日志主题,...
例如使用典型的开源日志平台 Filebeat+Logstash+ES+Kibana 的方案。但是在使用过程中,我们发现了开源日志系统的不足:- 各业务模块自己搭建日志系统,造成重复建设。 - 以 ES 为中心的日志架构可以利用 ES 查询便利的优势,但是资源开销大、成本高。而且 ES 与 Kibana 在界面上强绑定,不利于功能扩展。 - 开源方案一般采用单机 yaml 做采集配置,当节点数很多的时候,配置非常繁琐。 - 开源系统的采集配置难以管理,数据源...
例如使用典型的开源日志平台 **Filebeat+Logstash+ES+Kibana** 的方案。但是在使用过程中,我们发现了开源日志系统的不足:* 各业务模块自己搭建日志系统,造成重复建设。* 以 ES 为中心的日志架构可以利用 ES 查询便利的优势,但是资源开销大、成本高。而且 ES 与 Kibana 在界面上强绑定,不利于功能扩展。* 开源方案一般采用单机 yaml 做采集配置,当节点数很多的时候,配置非常繁琐。* 开源系统的采集配置难以管理,数据源也比较...
通过 LogCollector 采集文本日志时,可以通过 LogCollector 插件对采集到的日志数据指定字段进行采集后处理,例如某个字段的正则模式解析等。本文档介绍使用 LogCollector 插件处理日志的操作步骤。 背景信息对于日志结构复杂、格式不固定等复杂场景,配置文本日志的 LogCollector 采集规则时,可以开启插件功能,填写用于处理日志的插件配置,日志服务处理采集到的日志数据时,会根据插件配置依次执行对应的处理逻辑,对采集到的日志数据...
消费日志 场景说明本文档通过示例代码演示如何通过 SDK 消费日志数据。Java SDK 支持通过以下方式写入日志: 写入方式 说明 Consumer 推荐。在实际生产环境中,为了提高数据消费效率,建议通过 Java Consumer 方式消费日志数据。Consumer 支持负载均衡地消费日志主题下所有分区的数据,具有异步消费、高性能、失败重试、优雅关闭等特性。示例代码请参考Consumer 消费日志数据,通过消费组消费日志的详细说明请参考通过消费组消...
消费日志 场景说明本文档通过示例代码演示如何通过 SDK 消费日志数据。Go SDK 支持通过以下方式写入日志: 写入方式 说明 Consumer 推荐。在实际生产环境中,为了提高数据消费效率,建议通过 Go Consumer 方式消费日志数据。Consumer 支持负载均衡地消费日志主题下所有分区的数据,具有异步消费、高性能、失败重试、优雅关闭等特性。示例代码请参考Consumer 消费日志数据,通过消费组消费日志的详细说明请参考通过消费组消费数...