rocketmq各场景
社区干货
干货|字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化(2)
> > > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ -> HDFS/Hive(下面均称之为 MQ dump,具体介绍可见> 字节跳动基于Flink的MQ-Hive实时数据集成> 在数仓建设第一层,对数据的准确性和实时性要求比较高。> > > > 
> > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ -> HDFS/Hive(下面均称之为 MQ dump,具体介绍可见 字节跳动基于Flink的MQ-Hive实时数据集成 ) 在数仓建设第一层,对数据的准确性和实时性要求比较高。> > > 在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ -> HDFS/Hive(下面均称之为 MQ dump,具体介绍可见 字节跳动基于 Flink 的 MQ-Hive 实时数据集成 ) 在数仓建设第一层,对数据的准确性和实时性要求比较高。目前字节跳动中国区 MQ dump 例行任务数巨大,日均处理流量...
打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台 | 社区征文
我们要探讨RocketMQ在云原生架构领域的关键技术进步。## RocketMQ的云原生发展历程随着消息队列行业的发展,Apache RocketMQ经历了12年的发展历程,可以被划分为两个阶段:互联网时期的诞生和云计算时期的成长。### 互联网时期的诞生RocketMQ是2011年诞生于淘宝核心电商系统,一开始是定位于服务集团业务,面向单一超大规模互联网企业设计,当时的架构存在一些痛点,无法很好地满足云计算场景的需求。其中包括以下问题:
特惠活动
rocketmq各场景-优选内容
rocketmq各场景-相关内容
什么是消息队列 RocketMQ版
完全兼容开源 RocketMQ 的各个组件与概念,同时具备低延迟、弹性高可靠、高吞吐等特性优势,业务代码无需改造,帮助用户快速迁移上云。 产品功能多种消费类型:消息队列 RocketMQ版提供灵活、可扩展性强的消费主题模式设置,支持发布/订阅、集群消费和广播消费模式。 多种消息类型:消息队列 RocketMQ版支持丰富的消息类型,支持顺序消息、事务消息、定时消息、延时消息等多种消息类型,满足各类场景下的数据消费需求。 多种消息免运维...
步骤三:生产消费普通消息
介绍消息队列 RocketMQ版收发普通消息的基本步骤。 注意事项在使用 Java SDK 接入火山引擎消息队列 RocketMQ版收发消息时,需要配置相应的消息生产或消费参数。您可以参考参数说明,了解相关的参数信息。消息队列 RocketMQ版提供常见场景的消息生产与消费示例代码,您也可以参考示例代码中的注释,了解各个关键参数。详细信息请参考SDK 参考。 前提条件已配置开发环境,并创建了 RocketMQ 实例等相关资源。详细操作步骤请准备环境、创...
产品优势
消息类型丰富消息队列 RocketMQ版提供丰富的消息类型,支持顺序消息(全局顺序 / 分区顺序)、事务消息、定时消息、延时消息等多种消息类型,满足各类场景下的数据消费需求。 顺序消息:按照消息的发布顺序进行顺序消费(FIFO),支持全局顺序与分区顺序。 事务消息:实现系统间解耦的同时,保证数据的最终一致性。 定时/延时消息:消息可在指定的时间点或延迟时间进行投递。 消息免运维消息队列 RocketMQ版支持消息查询和回溯、消息重试与死...
基于 IAM 管理权限
访问控制 IAM(Identity and Access Management)是火山引擎提供的权限管理服务,用于控制不同身份对云资源的访问权限。本文档介绍通过 IAM 服务管理消息队列 RocketMQ版资源的方式。 应用场景企业用户使用火山引擎消息队列 RocketMQ版时,如果需要集中或统一管理某些资源,会选择在一个火山引擎账号下创建所有需要的资源。企业中各个岗位需要使用的火山引擎服务和资源不同,出于数据安全与权限隔离的的考虑,火山引擎账号下的所有资源应...
重置消费位点
在清除堆积消息、离线数据处理等场景下,需要消费过去某个时段的消息,或清除所有堆积消息,可以对消费位点进行重置操作。消息队列 RocketMQ版控制台支持重置消费位点,改变订阅者当前的消费位置,您可以通过重置消费位点功能直接从最新 Offset 位点或某个指定时间点来消费消息。 背景信息消息队列 RocketMQ版支持重置 Group 订阅的某一 Topic 或所有 Topic 的消费位点,支持的重置方式包括以下两种。 从最新位点开始消费:该 Group 在消...
消息队列 RocketMQ版-火山引擎
消息队列 RocketMQ版是一款基于 Apache RocketMQ 构建的分布式消息中间件服务,完全兼容开源 RocketMQ 客户端。消息队列 RocketMQ版具备低延迟、弹性高可靠、高吞吐等特性优势,支持顺序、延迟、定时、重投、死信消息等功能,完美适配电商大促等业务场景
消息轨迹
背景信息当一条消息从生产者发送到消息队列 RocketMQ版服务端,再由消费者进行消费,消息队列 RocketMQ版会完整记录消息的全链路流转过程,并以消息轨迹的形式呈现在消息队列 RocketMQ版控制台。消息轨迹可作为生产环境中排查问题强有力的数据支持。消息轨迹记录了消息从生产端到消息队列 RocketMQ版服务端,最后到消费端的整个过程,包括各阶段状态、耗时、生产者 IP 地址、消费者 IP 地址等。推荐您在以下场景中使用消息轨迹功能: ...
普通消息
但对可靠性要求并不高的场景,例如日志收集。 TPS 快 快 最快 是否反馈发送结果 反馈 反馈 不反馈 可靠性 不丢失消息 不丢失消息 可能丢失消息 同步发送同步发送是指消息发送方发出一条消息后,会在收到服务端返回响应之后才发下一条消息的通讯方式。一般用于较为重要的消息发送场景。同步发送方式发送普通消息的示例代码如下。 Java import java.util.Date;import org.apache.rocketmq.acl.common.AclClientRPCHook...
新功能发布记录
本文介绍了消息队列 RocketMQ版各特性版本的功能发布动态,新特性将在各个地域(Region)陆续发布,欢迎体验。 2024年3月功能名称 功能描述 发布地域 相关文档 云监控指标 增加实例维度的监控指标。 全部地域 查... 在公网访问场景下按需认证或强制使用 SSL 认证。 2023年04月20日 全部地域 设置公网访问与 SSL 认证策略 可维护时间段(白名单) 实例默认的可维护时间段为周一到周四的20:00~23:59,您也可以根据业务流量规律,自...
