双缓冲队列消息队列
社区干货
一文了解字节跳动消息队列演进之路
多数公司都会选择将消息队列作为削峰填谷的关键工具。字节跳动的消息队列团队不仅要支撑公司内部消息队列系统的设计、开发和维护工作,还要解决诸多技术难题和痛点,例如如何稳定高效地处理海量数据、如何降低运... Kafka 的数据缓存只有操作系统的 Page Cache 可用,并没有自己的缓存,这也使得其在处理大规模、高并发的数据请求时性能不尽如人意。因为 Kafka 对 Page Cache 的使用是不可控的,又由于缓存机制的运行原理,我们无法规...
消息队列选型之 Kafka vs RabbitMQ
上图通过举例账户和红包的消息队列说明,通过解耦不同服务,可以使整个系统更加灵活和可扩展。 **削峰**最重要的优势就是能用来平滑处理系统中的高峰流量。当系统面临瞬时高流量时,消息队列可以作为一个缓冲层,将大量的请求消息存储在队列中,然后按照系统处理能力逐渐消费这些消息,平稳地处理高峰流量。
特惠活动
双缓冲队列消息队列-优选内容
双缓冲队列消息队列-相关内容
什么是消息队列 Kafka版
消息队列 Kafka版是一款基于 Apache Kafka 构建的分布式消息中间件服务,具备高吞吐、高可扩展性等特性,提供流式数据的发布/订阅和多副本存储机制,广泛应用于日志压缩收集、流式数据处理、消息解耦、流量削峰去谷等... 若没有相应的保护或缓存机制,可能会导致系统超负荷甚至是崩溃,因而丢失业务数据。消息队列 Kafka版可在流量洪峰突然来袭时暂时缓存上游系统的突增请求,允许下游系统按照实际消费能力处理请求,使得下游系统可在安全...
RocketMQ 消费者使用建议
本文档介绍 RocketMQ 消费者的使用建议,推荐在使用消息队列 RocketMQ版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 消费过程幂等RocketMQ 无法保证消息只被消费一次(Exactly-Once),即无法... 看消息的消费平均延迟有多大。 观察消费者实例,查看本地缓存的消息数,判断是否触发了流控限制。 消费暂停处理消费者消费消息时,会提交到线程池去消费,如果消费突然暂停,查看消费进度时发现进度一直没有任何更新。通...
设置公网解析
消息队列 RocketMQ版实例的私有网络 VPC 域名支持在公网环境下解析为私网 IP 地址。本文档介绍手动开启公网解析的操作步骤。 背景信息消息队列 RocketMQ版提供各种协议的接入点供您连接使用,访问私有网络 VPC 类型... 能把 DNS 查询结果缓存到本地,并在 DNS 服务不可用时返回缓存的查询结果,避免因 DNS 服务不可用导致客户端无法正常访问资源。如需了解更多信息,请参见DNS 高可用插件介绍、为消息队列 RocketMQ 版集成 DNS 高可用插...
为消息队列 RocketMQ 版集成 DNS 高可用插件
本文档介绍如何在火山引擎消息队列 RocketMQ 版的 Golang 客户端中集成 dns-stale-cache 插件。 前提条件您的 Golang 必须是 1.18 或更高版本。 您的 RocketMQ 客户端使用的 rocketmq-client-go SDK 必须是 v2 版本... 缓存配置选项 参数 说明 func WithCacheFirst(preferUse bool) Option 是否优先返回缓存中匹配的查询结果。true:域名解析时,优先返回缓存中匹配的查询结果,同时异步向 DNS 服务器发起 DNS 查询请求,并使用查询结果...
产品优势
开源完全兼容消息队列 RabbitMQ版支持 AMQP 标准协议,完全兼容开源 RabbitMQ 社区和 Queue、Exchange、Vhost 组件,具备原生 RabbitMQ 的所有消息处理特性,业务代码无需改造,轻松实现快速上云。 插件生态丰富消息队列 RabbitMQ版支持多种类型插件,可通过插件形式开启消息延迟功能、兼容 TCP 和 WebSocket 方式的 MQTT 协议。 性能稳定消息队列 RabbitMQ版实现生产者和消费者隔离,可作为缓存器暂时缓存生产者在大量并发时产生的海量...
采集 MySQL Binlog 到数据集成托管消息队列
实时数据采集方案支持您将源数据库的增量数据实时采集至消息队列。该方案场景适用于您将源端增量数据同步至目标端数据源库表中,且增量数据较大或者存在波峰波谷时,建议您先进行数据缓存的中间步骤。本文为您介绍如何创建采集解决方案将 RDS MySQL 实例的 Binlog 采集到集成托管消息队列(即 DataSail 数据源),并在数据同步方案中使用缓存方案,实现增量数据实时同步到下游 Doris 数据表。 1 前置操作已开通并创建 DataLeap 项目,创...
Kafka 生产者最佳实践
本文档以 Confluent 官方的 Java 版本 SDK 为例介绍 Kafka 生产者和消费者的使用建议。推荐在使用消息队列 Kafka版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 消息顺序性火山引擎 Kafka... 避免业务和消息过度集中在部分分区中。 发送结果生产者消息的发送实现当前为异步逻辑。即调用 send 方法写入消息时,实际消息仅仅是写入本地缓存中,实际并未发送到服务端。消息会在本地缓存中根据分区做一次消息聚合...
迁移概述
本文介绍 Kafka 业务迁移的方案与基本流程。业务上云过程中,您可以参考本文档,将自建 Kafka 集群或其他云厂商 Kafka 集群平滑迁移至火山引擎消息队列 Kafka版。 背景信息消息队列 Kafka版是一款基于 Apache Kafka ... 并在旧集群消费完旧消息之后停止消费端。在该方案中,云上云下双集群同步处理业务,原有业务逐步迁移。 该方案优势在于可以保证业务的连续性,任何时候新生产的数据都能被及时进行消费处理。适用于对于消息处理顺序无...
Kafka 迁移上云(方案一)
本文介绍通过方案一将开源 Kafka 集群迁移到火山引擎消息队列 Kafka版的操作步骤。 注意事项业务迁移只迁移消息生产、消费链路和业务流量,并不会迁移 Kafka 旧集群上的消息数据。 创建Kafka实例、迁移消息收发链路... 消息保留时长等参数配置等。关于 Group 配置迁移,您可以根据需求选择在控制台创建 Group 或在使用 SDK 的过程中按需创建 Group。 在原 Kafka 集群中收集 Topic 和 Group 的基本信息。其中,核心配置如下: 配置 说明...
