消息队列和信号量
社区干货
一文了解字节跳动消息队列演进之路
本文相关产品:云原生消息引擎 BMQ https://www.volcengine.com/product/bmq随着“万物”互联网化的发展,许多公司内部服务间面对的数据流量也越来越大,在应对大量的数据通信需求时,多数公司都会选择将消息队列作为削峰填谷的关键工具。字节跳动的消息队列团队不仅要支撑公司内部消息队列系统的设计、开发和维护工作,还要解决诸多技术难题和痛点,例如如何稳定高效地处理海量数据、如何降低运维成本等。目前经过技术优化...
Redis 使用 List 实现消息队列有哪些利弊?|社区征文
分布式系统中必备的一个中间件就是消息队列,通过消息队列我们能对服务间进行异步解耦、流量消峰、实现最终一致性。目前市面上已经有 `RabbitMQ、RochetMQ、ActiveMQ、Kafka`等,有人会问:“Redis 适合做消息队列么?”在回答这个问题之前,我们先从本质思考:- 消息队列提供了什么特性?- Redis 如何实现消息队列?是否满足存取需求?今天,码哥结合消息队列的特点一步步带大家分析使用 Redis 的 List 作为消息队列的实现原理,并...
消息队列选型之 Kafka vs RabbitMQ
在面对众多的消息队列时,我们往往会陷入选择的困境:“消息队列那么多,该怎么选啊?Kafka 和 RabbitMQ 比较好用,用哪个更好呢?”想必大家也曾有过类似的疑问。对此本文将在接下来的内容中以 Kafka 和 RabbitMQ 为例分... 首先消息队列支持异步通信,发送方可以快速将消息放入队列中并立即返回,而不需要等待接收方的响应。这种异步通信模式可以减少请求等待,能让服务异步并行处理,提高系统的吞吐量和响应时间。上图以支付会员红包系统...
Apache Pulsar 在火山引擎 EMR 的集成与场景
近年来,基于云原生架构的新一代消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场景和客户案例也在不断地丰富与扩充。火山引擎是字节跳动的企业服务品牌,主要面向 To B 业务场景。... 集群内部包含大量状态信息并不稀奇,且这些状态信息的量级较重。然而,用户集群富含状态信息,会给用户带来额外的一些成本和困扰。例如,如果用户想升级自己的集群版本,或者对自己的集群做一些其他的运维操作(例如服...
特惠活动
消息队列和信号量-优选内容
消息队列和信号量-相关内容
Kafka 迁移上云(方案二)
本文介绍通过方案二将开源 Kafka 集群迁移到火山引擎消息队列 Kafka版的操作步骤。 注意事项业务迁移只迁移消息生产、消费链路和业务流量,并不会迁移 Kafka 旧集群上的消息数据。 创建 Kafka 实例、迁移消息收发链路之前,请先确定 Kafka 实例可正常访问,以免因访问异常造成迁移失败。您可以访问 Kafka 实例详情页中的接入点,确认实例的网络连通性。 业务迁移之前,请确认您已根据业务需求选择了正确的迁移方案。迁移方案对比请参考...
Kafka 迁移上云(方案一)
本文介绍通过方案一将开源 Kafka 集群迁移到火山引擎消息队列 Kafka版的操作步骤。 注意事项业务迁移只迁移消息生产、消费链路和业务流量,并不会迁移 Kafka 旧集群上的消息数据。 创建Kafka实例、迁移消息收发链路之前,请先确定 Kafka 实例可正常访问,以免因访问异常造成迁移失败。您可以访问 Kafka 实例详情页中的接入点,确认实例的网络连通性。 业务迁移之前,请确认您已根据业务需求选择了正确的迁移方案。迁移方案对比请参考概...
RocketMQ 生产者使用建议
本文档介绍 RocketMQ 生产者的使用建议,推荐在使用消息队列 RocketMQ版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 消息 Tag建议组合使用 Topic 和 tags,以减少 Topic 的使用。 Tag 可以... 以及消息被谁消费。使用消息 Key 时,请注意: 建议消息生产者为每条消息设置具有业务区分度的 Key。 索引类型为哈希索引,所以务必保证 key 尽可能唯一,以确保以此避免潜在的哈希冲突。 相同的 Key 的消息数量尽量少...
Apache Pulsar 在火山引擎 EMR 的集成与场景
近年来,基于云原生架构的新一代消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场景和客户案例也在不断地丰富与扩充。火山引擎是字节跳动的企业服务品牌,主要面向 To B 业务场景。... 集群内部包含大量状态信息并不稀奇,且这些状态信息的量级较重。然而,用户集群富含状态信息,会给用户带来额外的一些成本和困扰。例如,如果用户想升级自己的集群版本,或者对自己的集群做一些其他的运维操作(例如服...
查看 Topic 消费信息
创建 Topic 之后,如果这个 Topic 中的数据被一些消费者消费,消息队列 RocketMQ版会记录并在控制台展示消费的相关信息,例如队列信息和消费组信息。 操作入口登录消息队列 RocketMQ版控制台。 在顶部菜单栏中选择地域... 队列信息、订阅此 Topic 的消费组信息和 Topic 的密钥权限。 分别单击页签名称,查看队列信息、消费组信息和密钥权限页签。 队列信息队列信息页签展示该 Topic 的所有队列状态,包括队列 ID、最小偏移量、最大偏移量...
RocketMQ 业务迁移
本文介绍 RocketMQ 业务迁移的操作步骤,您可以参考本文档将自建 RocketMQ 集群或其他云厂商 RocketMQ 集群迁移至火山引擎消息队列 RocketMQ版。 注意事项由于 Producer 和 Consumer 为集群化部署,迁移时可以分批操作,上层业务无感知。分批迁移过程中,可以在火山引擎云监控服务控制台监控业务相关流量数据,确认业务正常运行。 如果有多个 RocketMQ 实例需要迁移到同一个消息队列 RocketMQ版实例中,请依次进行迁移。 如果使用延时...
应用场景
异步解耦应用系统产生的数据可能需要被多个下游系统所关注,而每一个下游系统对消息的处理逻辑都不一致,应用系统不可能去适配每一个关联业务。消息队列 RocketMQ版可以实现高效的异步通信,有效地将上下游系统解耦,即使上、下游系统出现不可用甚至宕机,都不会影响到对方系统的正常运转,确保彼此业务的连续性。 削峰填谷流量削峰是消息队列 RocketMQ版的常用场景。在秒杀、新品发布上线等大型活动时,用户请求量的暴增为应用系统带来...
推荐配置的告警规则
消息队列 Kafka版支持配置云监控告警规则,帮助您实时关注实例的运行状态。本文档介绍典型场景下的告警规则配置示例,建议参考这些推荐的告警策略,配置监控指标的告警规则。 实例维度 实例磁盘使用容量超过 85%告警规则配置告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。 配置 取值 维度 实例 触发条件 1 监控指标:容量使用率 持续周期:持续3个周期 取值方式:最大值 比较方式:> 阈值:85% 告警级别 通...
Topic 和 Group 管理
消息队列 Kafka版提供以下 Topic 和 Group 管理相关的常见问题供您参考。 FAQ 列表为什么 Group 列表中多了一些 Group? 为什么 Group 会被自动删除? 为什么无法删除 Group? 为什么看不到 Group 的消息堆积量,或堆积量为 0? 为什么消息的存储时间显示为 1970? 为什么消息在 Topic 分区中分布不均衡? 为什么 Group 的订阅关系显示为空? 为什么 Group 列表中多了一些 Group?通过消息队列 Kafka版控制台或 OpenAPI 查看指定实例的 G...
