对此本文将在接下来的内容中以 Kafka 和 RabbitMQ 为例分享消息队列选型的一些经验。来源团队|字节跳动财经研发团队消息队列即 Message+Queue,消息可以说是一个数据传输单位,它包含了创建时间、通道/主题信息、输入参数等全部数据;队列(Queue)是一种 FIFO(先进先出)的数据结构,编程语言一般都内置(内存中的)队列实现,可以作为进程间通讯(IPC)的方法。使用队列最常见的场景就是生产者/消费者模式:生产者生产消息放到队列...
Task:消费消息并处理的一条Pipeline,Task之间资源是相互独立的。## 框架架构![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/6aa0500c0d4248e8949c769032b40f46~tplv-k3u1fbpfcp-5.jpeg?)整个框架主要由MQ Consumer, Message Processor和State Manager组成。- MQ Consumer:负责从Kafka Topic拉取消息,并根据Event Key将消息投放到内部队列,如果消息需要延时消费,会被投放到对应的延时队列;该模块还...
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群> 字节数据中台DataLeap的Data Catalog系统通过接收MQ中的近实时消息来同步部分元数据。Apache Atlas对于实时消息的消费处... 延迟消息 | 支持将消息标记为延迟处理,最高延迟1 min || 重试 | 自动对处理失败消息重试,重试次数可定义 || 并...
# 问题描述RocketMQ 正常生产和消费消息,但是消费轨迹无法查看的问题该如何排查?# 问题分析此类问题原因一般如下:1. 客户端 SDK 使用的版本不对, 需要使用 SDK 版本为 4.8.0, 4.7 和 4.9 的版本均会导致前端页... //消息发送失败,需要进行重试处理,可重新发送这条消息或持久化这条数据进行补偿处理。 System.out.println(new Date() + " Send mq message failed."); e.printS...
如果当前使用的消息队列 RocketMQ版指标值超过实例的某项规格限制,实例集群运行负载超过推荐负载上限,可能会触发限流机制。建议您及时关注实例运行的各项规格指标数据,在触发限流前调整实例规格。本文档介绍需要调... 您可以在 RocketMQ 实例的云监控页签中查看生产流量速率和消费流量速率。详细说明请参考查看监控数据。 请求时延增大或失败率增高随着业务持续增长,当 TPS 增加伴随着生产和消费的请求时延开始显著增加,或者消息生...
调用消息队列 RocketMQ版 OpenAPI 时,如果发生请求超时或服务端内部错误等问题,客户端可能会多次重试。为保证请求的幂等性,您可以在调用 OpenAPI 时设置 ClientToken 参数,避免多次重试导致重复创建资源。 如何保证... 幂等性标识的基本信息如下: 名称 类型 是否必选 示例值 描述 ClientToken String 否 testClientToken 保证客户端请求幂等性的标识。该标识为 1~64 位的 ASCII 字符串,大小写敏感,由客户端生成,应确保不同...
调用消息队列 RocketMQ版 OpenAPI 时,如果发生请求超时或服务端内部错误等问题,客户端可能会多次重试。为保证请求的幂等性,您可以在调用 OpenAPI 时设置 ClientToken 参数,避免多次重试导致重复创建资源。 如何保证... 幂等性标识的基本信息如下: 名称 类型 是否必选 示例值 描述 ClientToken String 否 testClientToken 保证客户端请求幂等性的标识。该标识为 1~64 位的 ASCII 字符串,大小写敏感,由客户端生成,应确保不同...
首次使用消息队列 RocketMQ版之前,您需要进行跨服务授权,允许消息队列 RocketMQ版访问当前账号下的其他服务资源,例如 VPC 等。本文介绍跨服务访问授权的相关操作步骤。 注意事项仅首次创建 RocketMQ 实例之前需要进... 失败。如果您的实际业务场景下确实需要由 IAM 用户进行跨服务访问授权,可以为 IAM 用户授予 IAMFullAccess 系统策略,详细说明请参考IAM产品文档。 背景信息消息队列 RocketMQ版实例需要绑定 VPC 和子网等资源,创建...
2022年04月26日开始,消息队列 RocketMQ版产品开始收取服务费用。 生效时间2022年04月26日中午12点。 计费项与价格消息队列 RabbitMQ版支持按量付费和包年包月的计费方式,计费项包括计算规格费用与存储规格费用,不同规格的实例定价不同。产品定价的详细信息,请参见计费项与价格。 收费说明消息队列 RabbitMQ版在邀测期结束前已向您发出通知,以确定是否继续使用本产品和服务。 如果您在邀测期间创建了 RabbitMQ 实例,且邀测期结束后...
准备开发环境,并创建相关服务资源之后,您可以调用开源 TCP 协议的 RocketMQ SDK 收发普通消息。本文档以 TCP 协议的 Java SDK 为例,介绍消息队列 RocketMQ版收发普通消息的基本步骤。 注意事项在使用 Java SDK 接入火山引擎消息队列 RocketMQ版收发消息时,需要配置相应的消息生产或消费参数。您可以参考参数说明,了解相关的参数信息。消息队列 RocketMQ版提供常见场景的消息生产与消费示例代码,您也可以参考示例代码中的注释,了解...
消息重发就会导致相同的消息有不一样的 msgId。 日志打印建议在消息发送成功或者失败时打印消息日志,日志中应包含 SendResult 和 Key 字段。可根据实际情况来选择是否打印消息体,如果消息内容比较重要,在消息发送失败时推荐打印消息体。 说明 对于发送结果为 SEND_OK 的消息,可以不打印消息日志,以免造成日志过多,浪费存储资源。 消息发送模式目前消息队列 RocketMQ版提供了三种消息发送模式,说明如下: 说明 异步发送和单向发...
消息队列 RocketMQ版对一些指标和性能进行了限制,请您在使用过程中注意不要超过相应的限制值,避免出现异常。 限制类型 配额 说明 实例数量 5 个 单个地域(Region)内的消息队列 RocketMQ版实例数。您也可以通过配额中心申请提高每个地域下的最大实例数量(InstanceNum),最高可调整至 10 个。 存储容量总和 10TiB 单个地域(Region)内,所有消息队列 RocketMQ版实例的存储容量总和。您也可以通过配额中心申请提高每个地域下的...
调用接口 DeleteAuthKey 删除 RocketMQ 密钥。 注意事项请求频率:该接口请求频率限制为 20 次/秒;单用户请求频率限制为 4 次/秒。 使用说明消息队列 RocketMQ版建议您及时删除不再使用的密钥,以保证业务安全和数据安全。 说明 删除密钥之前,请确认已停止使用此密钥连接火山引擎消息队列 RocketMQ版,否则可能因为鉴权失败导致业务中断。 请求参数参数 参数类型 是否必选 示例值 说明 InstanceId String 必选 MQ_INST_**...