多数公司都会选择将消息队列作为削峰填谷的关键工具。字节跳动的消息队列团队不仅要支撑公司内部消息队列系统的设计、开发和维护工作,还要解决诸多技术难题和痛点,例如如何稳定高效地处理海量数据、如何降低运... 实现存储与计算的分离,提高了计算资源的利用率,由云存储组件CloudFS保证数据一致性。* **高吞吐**:BMQ 将数据拆分成多个 Segment 文件,存储在不同的分布式存储系统的不同机器上的不同磁盘上,从而提高了吞吐性能。...
分布式系统中必备的一个中间件就是消息队列,通过消息队列我们能对服务间进行异步解耦、流量消峰、实现最终一致性。目前市面上已经有 `RabbitMQ、RochetMQ、ActiveMQ、Kafka`等,有人会问:“Redis 适合做消息队列么?”在回答这个问题之前,我们先从本质思考:- 消息队列提供了什么特性?- Redis 如何实现消息队列?是否满足存取需求?今天,码哥结合消息队列的特点一步步带大家分析使用 Redis 的 List 作为消息队列的实现原理,并...
字节跳动消息队列研发工程师-雷丽媛在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队研发了计算存储分离的云... 可以实现秒级的扩缩容或故障机替换。在故障场景下,例如交换机故障或机房故障,可以秒级将流量调度到健康节点恢复服务。**数据存储模型**在分层之后数据存储模型上的优势,主要体现在 BMQ 中,一个 Partition 的...
作者|字节跳动消息队列研发工程师-雷丽媛上文我们了解了在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队... 可以实现 **秒级的扩缩容或故障机替换** 。在故障场景下,例如交换机故障或机房故障,可以秒级将流量调度到健康节点恢复服务。### 数据存储模型在分层之后 **数据存储模型上的优势** ,主要体现在 BMQ 中,一个...
消息队列 RabbitMQ版是一款支持 AMQP 协议的分布式高可用消息队列产品,完全兼容 RabbitMQ 开源生态及多语言客户端,同时具备分布式、高吞吐、低延迟、灵活扩展的云消息服务优势,无需用户部署运维,轻松实现快速上云
作者|字节跳动消息队列研发工程师-雷丽媛上文我们了解了在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求。因此字节消息队列团队... 可以实现 **秒级的扩缩容或故障机替换** 。在故障场景下,例如交换机故障或机房故障,可以秒级将流量调度到健康节点恢复服务。### 数据存储模型在分层之后 **数据存储模型上的优势** ,主要体现在 BMQ 中,一个...
我们往往会陷入选择的困境:“消息队列那么多,该怎么选啊?Kafka 和 RabbitMQ 比较好用,用哪个更好呢?”想必大家也曾有过类似的疑问。对此本文将在接下来的内容中以 Kafka 和 RabbitMQ 为例分享消息队列选型的一些经验。消息队列即 Message+Queue,消息可以说是一个数据传输单位,它包含了创建时间、通道/主题信息、输入参数等全部数据;队列(Queue)是一种 FIFO(先进先出)的数据结构,编程语言一般都内置(内存中的)队列实现,可以作为...
云原生消息引擎 BMQ 目前支持与数据库传输服务 DTS 连接,实现 DTS 将 MySQL 的 binlog 信息推送到消息队列中。本文介绍在云原生消息引擎侧管理 DTS 连接的连接状态。 注意事项只有 BMQ 资源池在运行状态下才可以切换 DTS 连接状态,切换状态为异步操作,会触发资源池更新,请耐心等待更新完成。 前提条件您已提前创建 BMQ 资源池,且状态为运行中。具体操作,请参见创建资源池。 管理 DTS 连接登录云原生消息引擎控制台。 在顶部菜单栏...
消息队列 RocketMQ版是一款基于 Apache RocketMQ 构建的分布式消息中间件服务,完全兼容开源 RocketMQ 客户端。消息队列 RocketMQ版具备低延迟、弹性高可靠、高吞吐等特性优势,支持顺序、延迟、定时、重投、死信消息等功能,完美适配电商大促等业务场景
火山引擎消息队列 RocketMQ版提供同步发送、异步发送和单向(Oneway)发送三种方式来发送普通消息。本文介绍如何通过不同方式发送普通消息。 前提条件已完成准备工作。 已阅读参数说明,了解常用参数的配置方式与填写... 转码完成后通知推送转码结果等。 适用于某些耗时非常短,但对可靠性要求并不高的场景,例如日志收集。 TPS 快 快 最快 是否反馈发送结果 反馈 反馈 不反馈 可靠性 不丢失消息 不丢失消息 可能丢失消息 ...
消息队列 Kafka版是一款基于 Apache Kafka 构建的分布式消息中间件服务。具备高吞吐、高可扩展性等特性,提供流式数据的发布/订阅和多副本存储机制,广泛应用于日志压缩收集、流式数据处理、消息解耦、流量削峰去谷等应用场景
火山引擎消息队列 RocketMQ版提供同步发送、异步发送和单向(Oneway)发送三种方式来发送普通消息。本文介绍如何通过不同方式发送普通消息。 前提条件您已完成准备工作。 发送方式火山引擎消息队列 RocketMQ版提供的... 转码完成后通知推送转码结果等。 适用于某些耗时非常短,但对可靠性要求并不高的场景,例如日志收集。 TPS 快 快 最快 是否反馈发送结果 反馈 反馈 不反馈 可靠性 不丢失消息 不丢失消息 可能丢失消息 ...
消息队列产品,完全兼容 RabbitMQ 开源生态及多语言客户端,提供丰富的消息特性和灵活的消息路由,同时具备分布式、高吞吐、低延迟、灵活扩展的云消息服务优势,无需用户部署运维,能够轻松实现快速上云。 产品功能多种... 可通过插件形式开启消息延迟功能、兼容 TCP 和 WebSocket 方式的 MQTT 协议。 任务管理:支持查看后台任务的执行记录,展示实例重启等后台任务的执行状态、详情、开始与结束时间等信息。 监控告警:通过火山引擎云监控...