rocketmq不丢消息
社区干货
RocketMQ 存储机制浅析
绕不开其优秀的存储模型 。下文将从 RocketMQ 存储机制设计展开介绍。**存储机制设计**在存储方式上,RocketMQ/Kafka/RabbitMQ 均采用的是消息刷盘至所部署虚拟...
打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台 | 社区征文
这些现有解决方案都不适用于为大规模客户提供弹性服务的公共云环境。经过不断的努力和发展,在2016年,Apache RocketMQ开始向云端发展,成为了全球首个推出公有云SaaS版本的开源消息队列...
干货|字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化(1)
> > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ ->... 数据可以做到不重不丢。========================================================================================根据 Flink Checkpoint 的流程,MQ dump 整个写入过程可以分为四个不同的流程:* 数据写入...
使用golang调用RocketMQ SDK
# 前言本文档介绍使用go语言调用火山引擎RocketMQ SDK。# 关于实验- 预计部署时间:30分钟- 级别:初级- 相关产品:中间件-RocketMQ- 受众: 通用# 实验说明## 第一步、创建RocketMQ实例在控制台创建RocketMQ... //此处填写控制台RocketMQ实例概览中的TCP内网接入点,目前不支持公网接入,示例http://MQ_INST_50392uo8m9em_xxxxx.rocketmq.ivolces.com:9876 producer.WithRetry(2), producer.WithCredentials(primitive.Cre...
特惠活动
rocketmq不丢消息-优选内容
rocketmq不丢消息-相关内容
RocketMQ 消费者使用建议
如果不存在则插入,并消费,否则跳过。实际过程要考虑原子性问题,判断是否存在可以尝试插入,如果报主键冲突,则插入失败,直接跳过。msgId 一定是全局唯一标识符。但是实际使用中,可能会存在相同的消息有两个不同 msgId 的情况。消费者主动重发、因客户端重投机制导致的重复等,这种情况就需要使业务字段进行重复消费。 消费速率慢处理RocketMQ 的每个消费者的能力不同,线上经常会发生消费堆积的问题。您可以通过以下方式处理: 提高消...
RocketMQ 客户端使用建议
本文档介绍 RocketMQ 客户端的使用建议,推荐在使用消息队列 RocketMQ版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 日志配置RocketMQ 的日志一般是单独配置的,业务日志独立管理。日志默认保存在 ${user.home}/logs/rocketmqlogs 目录的 10 个文件中,每个文件大小为 1G,日志文件名为 rocketmq_client.log。有些业务的用户目录的磁盘空间不大,很容易造成磁盘空间不足。您可以通过设置系统变量的方式配置 ...
定时消息和延时消息
消息队列 RocketMQ版提供 TCP 协议下的 RocketMQ 开源 Java SDK 的相关说明,本文档介绍收发定时消息和延时消息的示例代码。 背景信息如果发送消息到消息队列 RocketMQ版服务端后,不希望立即投递消息,可以使用定时或延时消息,根据消息中指定的属性延迟一定时间投递或指定时间点投递至消费端。其中,推迟到后续的某个指定时间再投递到消费端进行消费的消息为定时消息。推迟一定时间再投递到消费端进行消费的消息为延时消息,例如指定...
步骤一:准备环境
消息队列 RocketMQ版是火山引擎基于 Apache RocketMQ 构建的低延迟、高并发、高可用、高可靠的分布式消息中间件。本文介绍使用消息队列 RocketMQ版进行消息收发之前,需要完成的准备工作。 1 准备账号开通服务之前,您需要注册一个火山引擎账号,并完成企业实名认证。对于计费类型为“按量计费”类型的 RocketMQ 实例,需要保证账户余额不低于 100 元才能正常创建和使用。 创建火山引擎账号。详细操作请参考注册账号。 完成企业认证。...
定时消息和延时消息
消息队列 RocketMQ版提供 TCP 协议下的 RocketMQ 开源 Go SDK 的相关说明,本文档介绍收发定时消息和延时消息的示例代码。 背景信息如果发送消息到消息队列 RocketMQ版服务端后,不希望立即投递消息,可以使用定时或延时消息,根据消息中指定的属性延迟一定时间投递或指定时间点投递至消费端。其中,推迟到后续的某个指定时间再投递到消费端进行消费的消息为定时消息。推迟一定时间再投递到消费端进行消费的消息为延时消息,例如指定在...
定时消息和延时消息
消息队列 RocketMQ版提供 TCP 协议下的 RocketMQ 开源 Python SDK 的相关说明,本文档介绍收发定时消息和延时消息的示例代码。 背景信息如果发送消息到消息队列 RocketMQ版服务端后,不希望立即投递消息,可以使用定时或延时消息,根据消息中指定的属性延迟一定时间投递或指定时间点投递至消费端。其中,推迟到后续的某个指定时间再投递到消费端进行消费的消息为定时消息。推迟一定时间再投递到消费端进行消费的消息为延时消息,例如指...
消息队列 RocketMQ版-火山引擎
消息队列 RocketMQ版是一款基于 Apache RocketMQ 构建的分布式消息中间件服务,完全兼容开源 RocketMQ 客户端。消息队列 RocketMQ版具备低延迟、弹性高可靠、高吞吐等特性优势,支持顺序、延迟、定时、重投、死信消息等功能,完美适配电商大促等业务场景
CreateAccessKey
调用 CreateAccessKey 创建 RocketMQ 密钥。 注意事项请求频率:该接口请求频率限制为 10 次/秒;单用户请求频率限制为 2 次/秒。 使用说明火山引擎消息队列 RocketMQ版通过密钥管理 Topic 权限,密钥由 AccessKey ID 与对应的 AccessKey Secret 组成,用于访问实例、生产消费时的鉴权与身份认证。此接口用于创建密钥。 说明 所有 RocketMQ 实例默认开启 ACL 访问控制,无需手动开启或关闭。 创建密钥后,密钥默认为已启用状态。若不再...
RocketMQ 存储机制浅析
绕不开其优秀的存储模型 。下文将从 RocketMQ 存储机制设计展开介绍。**存储机制设计**在存储方式上,RocketMQ/Kafka/RabbitMQ 均采用的是消息刷盘至所部署虚拟...
