消息队列的阻塞与非阻塞
社区干货
Redis 使用 List 实现消息队列有哪些利弊?|社区征文
分布式系统中必备的一个中间件就是消息队列,通过消息队列我们能对服务间进行异步解耦、流量消峰、实现最终一致性。目前市面上已经有 `RabbitMQ、RochetMQ、ActiveMQ、Kafka`等,有人会问:“Redis 适合做消息队列么... 这就会导致即使没有新消息写入到队列,消费者也要不停地调用 `RPOP` 命令占用 `CPU` 资源。> 65 哥:要如何避免循环调用导致的 CPU 性能损耗呢?Redis 提供了 `BLPOP、BRPOP` 阻塞读取的命令,**消费者在在读取队列...
消息队列选型之 Kafka vs RabbitMQ
对此本文将在接下来的内容中以 Kafka 和 RabbitMQ 为例分享消息队列选型的一些经验。消息队列即 Message+Queue,消息可以说是一个数据传输单位,它包含了创建时间、通道/主题信息、输入参数等全部数据;队列(Queue)... 是否需要支持延时消息、死信队列、事务消息等高级功能,还是只需要基本的生产和消费功能。5. **数据量:** 考虑你的数据量是否大,是否需要高吞吐率和持久性。如果数据量较小,可以考虑使用非标准消息队列产品,如 Red...
ByteFUSE的演进与落地
消息队列业务,符号表业务以及编译业务等,字节内部部署机器和日常挂载点均已**达到万级规模**,**总吞近百GB/s,容量十几PB**,其性能与稳定性能够满足业务需求。## 背景ByteNAS是一款全自研、高性能、高扩展,多写... 我们对ByteFUSE和ByteNAS SDK进行了shared-nothing的设计和锁的非阻塞化改造,其目的是保证RTC线程不会被阻塞,避免影响请求的延迟。
特惠活动
消息队列的阻塞与非阻塞-优选内容
消息队列的阻塞与非阻塞-相关内容
RocketMQ 生产者使用建议
本文档介绍 RocketMQ 生产者的使用建议,推荐在使用消息队列 RocketMQ版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 消息 Tag建议组合使用 Topic 和 tags,以减少 Topic 的使用。 Tag 可以... 消息可靠性高,推荐使用这种模式。 SendResult sendResult = producer.send(msg) 异步发送 Producer 发送消息后,不会被阻塞,可以继续发送下一条消息。消息处理完毕从 Broker 返回结果后,直接回调 CallBack 函数进...
RocketMQ 消费者使用建议
本文档介绍 RocketMQ 消费者的使用建议,推荐在使用消息队列 RocketMQ版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 消费过程幂等RocketMQ 无法保证消息只被消费一次(Exactly-Once),即无法避免消息重复,主要由于以下原因: 消息发送失败时会重试 消费者批量消费,消费进度上报时回上报最小的 offset。 支持重置消费进度如果业务对消费重复非常敏感,务必要在业务层面进行去重处理,例如借助关系数据库进行去...
Topic 和 Group 管理
为什么看不到 Group 的消息堆积量,或堆积量为 0? 为什么消息的存储时间显示为 1970? 为什么消息在 Topic 分区中分布不均衡? 为什么 Group 的订阅关系显示为空? 为什么 Group 列表中多了一些 Group?通过消息队列 Kafka版控制台或 OpenAPI 查看指定实例的 Group 列表时,发现列表中的 Group 数量比手动创建的数量更多,即出现了一些非手动创建的 Group。该现象的主要原因如下: 开启了自由使用 Group 功能,消息队列 Kafka版自动创建...
Kafka 生产者最佳实践
本文档以 Confluent 官方的 Java 版本 SDK 为例介绍 Kafka 生产者和消费者的使用建议。推荐在使用消息队列 Kafka版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 消息顺序性火山引擎 Kafka... 该拦截器会将消息写入的结果或异常通过onAcknowledgement方法进行传递。 send 方法的返回结果为一个Future对象,可直接调用该对象的get方法,阻塞等待消息的写入结果。 以上三种方式中,推荐使用前两者中的任意一种,第...
步骤四:查询消息
如果您对发送到消息队列 RabbitMQ版的消息感兴趣、或有疑问,您可以在管理工具 Web UI 上查询消息。 获取 Queue 消息总量/积压登录消息队列 RabbitMQ版实例的 Web UI。操作步骤,请参见连接 RabbitMQ 管理地址。 在顶... 消息数量,该指标一般是在手动确认消费模式下才有数据。 Total:当前队列中总的消息数量。 批量获取 Queue 消息查询目标 Queue 中的消息,支持批量查询多条消息。 注意 仅建议在非生产环境中查询 Queue 内消息。如果...
设置公网解析
消息队列 RocketMQ版实例的私有网络 VPC 域名支持在公网环境下解析为私网 IP 地址。本文档介绍手动开启公网解析的操作步骤。 背景信息消息队列 RocketMQ版提供各种协议的接入点供您连接使用,访问私有网络 VPC 类型... 无法确保域名解析的准确性与时效性,因此公网 DNS 解析功能仅可用于非生产环境。生产环境强烈建议采用 DNS Forward 方案,在本地 DNS Server 中配置 Forward 到火山引擎 DNS,实现私网域名解析。 火山引擎私网解析(Pr...
设置公网解析
消息队列 Kafka版的私有网络 VPC 域名支持在公网环境下解析为私网 IP 地址。本文档介绍手动开启公网解析的操作步骤。 背景信息消息队列 Kafka版提供各种协议的接入点供您连接使用,访问私有网络 VPC 类型的接入点时... 无法确保域名解析的准确性与时效性,因此公网 DNS 解析功能仅可用于非生产环境。生产环境强烈建议采用 DNS Forward 方案,在本地 DNS Server 中配置 Forward 到火山引擎 DNS,实现私网域名解析。 前提条件实例状态为...
ByteFUSE的演进与落地
消息队列业务,符号表业务以及编译业务等,字节内部部署机器和日常挂载点均已**达到万级规模**,**总吞近百GB/s,容量十几PB**,其性能与稳定性能够满足业务需求。## 背景ByteNAS是一款全自研、高性能、高扩展,多写... 我们对ByteFUSE和ByteNAS SDK进行了shared-nothing的设计和锁的非阻塞化改造,其目的是保证RTC线程不会被阻塞,避免影响请求的延迟。