消息队列原子操作
社区干货
Redis 使用 List 实现消息队列有哪些利弊?|社区征文
分布式系统中必备的一个中间件就是消息队列,通过消息队列我们能对服务间进行异步解耦、流量消峰、实现最终一致性。目前市面上已经有 `RabbitMQ、RochetMQ、ActiveMQ、Kafka`等,有人会问:“Redis 适合做消息队列么... 就无法再还原消息,缺乏一个消息确认机制。Redis 提供了 `RPOPLPUSH、BRPOPLPUSH(阻塞)`两个指令,含义是从 List 从读取消息的同时把这条消息复制到另一个 List 中(备份),并且是原子操作。我们就可以在业务流程正...
一文了解字节跳动消息队列演进之路
多数公司都会选择将消息队列作为削峰填谷的关键工具。字节跳动的消息队列团队不仅要支撑公司内部消息队列系统的设计、开发和维护工作,还要解决诸多技术难题和痛点,例如如何稳定高效地处理海量数据、如何降低运... 生产者负责写消息到 Kafka;消费者负责读取消息。从架构上来看 Kafka 的架构非常简单,只有 Broker 组件负责所有的读写操作。在 Kafka 集群中,一个 Broker 节点会被选举为控制器(Controller)监管集群的状态,并负...
Apache Pulsar 在火山引擎 EMR 的集成与场景
近年来,基于云原生架构的新一代消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场景和客户案例也在不断地丰富与扩充。火山引擎是字节跳动的企业服务品牌,主要面向 To B 业务场景。... 或者对自己的集群做一些其他的运维操作(例如服务的启停、执行定制化的运维脚本等),就会有一些顾虑:用户的数据、元数据、配置等信息都在集群内部,在执行集群升级或运维操作的时候,会不会对集群内部的状态信息造成影...
Apache Pulsar 在火山引擎 EMR 的集成与场景
> 更多技术交流、求职机会,欢迎关注**字节跳动数据平台微信公众号,回复【1】进入官方交流群** 近年来,基于云原生架构的新一代消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场... 或者对自己的集群做一些其他的运维操作(例如服务的启停、执行定制化的运维脚本等),就会有一些顾虑:用户的数据、元数据、配置等信息都在集群内部,在执行集群升级或运维操作的时候,会不会对集群内部的状态信息造成影...
特惠活动
消息队列原子操作-优选内容
消息队列原子操作-相关内容
创建实例
应用接入消息队列 RabbitMQ版之前,需要在控制台创建 RabbitMQ 实例。消息队列 RabbitMQ 版提供多种实例规格,对应不同的计算能力和存储空间,您可以根据实际业务需求选择不同的实例规格。本文档介绍创建 RabbitMQ 实例的操作步骤。 说明 默认情况下,您可以在每个地域中创建 5 个 RabbitMQ 实例,否则创建实例时报错 The Instance has exceeded quota。如需提高配额,请在配额中心提交申请,例如提高每个地域下的最大实例数量(Instance...
步骤一:准备环境
消息队列 RocketMQ版是火山引擎基于 Apache RocketMQ 构建的低延迟、高并发、高可用、高可靠的分布式消息中间件。本文介绍使用消息队列 RocketMQ版进行消息收发之前,需要完成的准备工作。 1 准备账号开通服务之前,您需要注册一个火山引擎账号,并完成企业实名认证。对于计费类型为“按量计费”类型的 RocketMQ 实例,需要保证账户余额不低于 100 元才能正常创建和使用。 创建火山引擎账号。详细操作请参考注册账号。 完成企业认证。...
采集 MySQL Binlog 到数据集成托管消息队列
实时数据采集方案支持您将源数据库的增量数据实时采集至消息队列。该方案场景适用于您将源端增量数据同步至目标端数据源库表中,且增量数据较大或者存在波峰波谷时,建议您先进行数据缓存的中间步骤。本文为您介绍如何创建采集解决方案将 RDS MySQL 实例的 Binlog 采集到集成托管消息队列(即 DataSail 数据源),并在数据同步方案中使用缓存方案,实现增量数据实时同步到下游 Doris 数据表。 1 前置操作已开通并创建 DataLeap 项目,创...
RabbitMQ 迁移上云(方案二)
本文介绍通过方案二将开源 RabbitMQ 集群或单机迁移到火山引擎消息队列 RabbitMQ版的操作步骤。 注意事项业务迁移只迁移消息生产和消费链路,并不会迁移 RabbitMQ 旧集群上的消息数据。 创建 RabbitMQ 实例、迁移消息收发链路之前,请先确定 RabbitMQ 实例可正常访问,以免因访问异常造成迁移失败。您可以访问 RabbitMQ 实例详情页中对应协议的接入点,确认实例的网络连通性。 业务迁移之前,请确认您已根据业务需求选择了对应迁移方案...
数据安全
本文档介绍消息队列 RabbitMQ版提供的数据安全能力,及某些场景下的数据可靠性风险。 数据可靠性火山引擎消息队列 RabbitMQ版提供多种部署策略与安全能力,全方位保护用户数据安全性与可用性。 多可用区部署。消息队... 可靠性风险消息队列 RabbitMQ版多方面保障用户数据安全,在使用过程中,应注意以下数据安全保护须知,了解部分操作或配置可能导致的数据安全风险,例如可用性降低、数据丢失等问题。 风险操作 说明 使用单机版实例...
CreateInstance
调用 CreateInstance 创建消息队列 RabbitMQ版实例。 注意事项请求频率:该接口请求频率限制为 100 次/秒;单用户请求频率限制为 20 次/秒。 使用说明实例是消息队列 RabbitMQ版服务的虚拟机资源。 说明 如果是首次创建 RabbitMQ 实例,您需要先完成跨服务访问授权,建议通过火山引擎主账号操作。详细说明请参考跨服务访问授权。 如果需要通过私有网络访问消息队列 RabbitMQ版实例,请先在相同地域创建 ECS 云服务器、私有网络和子网...
RabbitMQ 迁移上云(方案一)
本文介绍通过方案一将开源 RabbitMQ 集群或单机迁移到火山引擎消息队列 RabbitMQ版的操作步骤。 注意事项业务迁移只迁移消息生产和消费链路,并不会迁移 RabbitMQ 旧集群上的消息数据。 创建 RabbitMQ 实例、迁移消息收发链路之前,请先确定 RabbitMQ 实例可正常访问,以免因访问异常造成迁移失败。您可以访问 RabbitMQ 实例详情页中对应协议的接入点,确认实例的网络连通性。 业务迁移之前,请确认您已根据业务需求选择了对应迁移方案...
跨服务访问授权
首次使用消息队列 RabbitMQ版之前,您需要进行跨服务授权,允许消息队列 RabbitMQ版访问当前账号下的其他服务资源,例如 VPC 等。本文介绍跨服务访问授权的相关操作步骤。 注意事项仅首次创建 RabbitMQ 实例之前需要进行跨服务访问授权,完成授权后 RabbitMQ 可以持续访问其他服务中的资源,直至删除服务关联角色。 服务关联角色的权限由系统生成,无法变更权限。若您需要取消授权,请删除角色。 建议通过火山引擎主账号完成跨服务访问授...
跨服务访问授权
首次使用消息队列 RocketMQ版之前,您需要进行跨服务授权,允许消息队列 RocketMQ版访问当前账号下的其他服务资源,例如 VPC 等。本文介绍跨服务访问授权的相关操作步骤。 注意事项仅首次创建 RocketMQ 实例之前需要进行跨服务访问授权,完成授权后 RocketMQ 可以持续访问其他服务中的资源,直至删除服务关联角色。 服务关联角色的权限由系统生成,无法变更权限。若您需要取消授权,请删除角色。 建议通过火山引擎主账号完成跨服务访问授...
