在过去的数年中,RocketMQ基于大规模云计算环境的实践经验(例如,阿里(双十一、双十二)、携程(过年高峰期)),辅助了成千上万的企业完成数字化转型,从而实现了从互联网消息中间件到云原生消息中间件的发展变革。RocketMQ与其他消息中间件的一大区别就在于,它采用的是经过实践检验的云原生架构。接下来,我们要探讨RocketMQ在云原生架构领域的关键技术进步。## RocketMQ的云原生发展历程随着消息队列行业的发展,Apache RocketMQ经历...
分享主要包含字节跳动内部 RocketMQ 的落地架构、新增的组件以及字节内部版本相较于社区版本的差异等内容。 👆 直播观看地址 ![]()### **Flink** **流批一体在字节跳动的探索与实践****付振雄 |** **火山引擎** **云原生** **计算产品经理****会议**:GIAC 全球互联网架构大会**演讲时间**:7月23日(周六) 13:30-14:30**议题简介**:在业务规模不断壮大,数据不断膨胀的背景下,数据的使用及管理成本成为越来越多企业发展过...
**RocketMQ****在字节跳动的应用与实践****沈辉****|字节跳动基础架构研发工程师**![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/6e0b413d22554970b9... 在业务规模不断壮大,数据不断膨胀的背景下,数据的使用及管理成本成为越来越多企业发展过程当中的痛点问题。如何降本增效,达到压缩成本和迅速转换数据价值的双赢结果是当前的热议话题。Flink 作为支持批流一体的计...
> > > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ... [外部企业输出](http://mp.weixin.qq.com/s?__biz=MzkwMzMwOTQwMg==&mid=2247484008&idx=1&sn=11617fd316f5a36f87362d0ab974229e&chksm=c099735df7eefa4ba2748cd14e4a0b4d84dda3010716277e9036baca5982a64cc117e35...
准备开发环境,并创建相关服务资源之后,您可以调用开源 TCP 协议的 RocketMQ SDK 收发普通消息。本文档以 TCP 协议的 Java SDK 为例,介绍消息队列 RocketMQ版收发普通消息的基本步骤。 注意事项在使用 Java SDK 接入... import org.apache.rocketmq.acl.common.AclClientRPCHook;import org.apache.rocketmq.acl.common.SessionCredentials;import org.apache.rocketmq.client.exception.MQClientException;import org.apache.rocket...
本指南主要为用户提供 RocketMQ 的迁移方案建议与操作指导。 背景信息火山引擎基于Apache RocketMQ 构建了稳定、安全的消息队列 RocketMQ版。与和开源 RocketMQ 相比,消息队列 RocketMQ版支持 VPC 访问,免部署免运维,具备更高的稳定性和安全性,支持消息查询、全链路消息轨迹查询以及消息回溯等功能,帮助您快速发现和处理系统问题,提高运维效率。RocketMQ 业务迁移是指将自建或其他云厂商的 RocketMQ 迁移到火山引擎消息队列 Rock...
本文介绍 RocketMQ 业务迁移的操作步骤,您可以参考本文档将自建 RocketMQ 集群或其他云厂商 RocketMQ 集群迁移至火山引擎消息队列 RocketMQ版。 注意事项由于 Producer 和 Consumer 为集群化部署,迁移时可以分批操作,上层业务无感知。分批迁移过程中,可以在火山引擎云监控服务控制台监控业务相关流量数据,确认业务正常运行。 如果有多个 RocketMQ 实例需要迁移到同一个消息队列 RocketMQ版实例中,请依次进行迁移。 如果使用延时...
多种消息免运维机制:消息队列 RocketMQ版支持消息查询和回溯、消息重试与死信管理等多种消息免运维机制,可配置消费延时、消息堆积等情况下的数据监控与告警,帮助用户及时发现问题。 安全防护:消息队列 RocketMQ版兼容 RocketMQ 的 ACL 访问策略,通过密钥管理功能实现数据面的鉴权和授权,通过私有网络(VPC)加强网络访问控制,提供企业级的安全防护。 应用场景消息队列 RocketMQ版可为分布式应用系统提供异步解耦和削峰填谷的能...
**RocketMQ****在字节跳动的应用与实践****沈辉****|字节跳动基础架构研发工程师**![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/6e0b413d22554970b9... 在业务规模不断壮大,数据不断膨胀的背景下,数据的使用及管理成本成为越来越多企业发展过程当中的痛点问题。如何降本增效,达到压缩成本和迅速转换数据价值的双赢结果是当前的热议话题。Flink 作为支持批流一体的计...
> > > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ... [外部企业输出](http://mp.weixin.qq.com/s?__biz=MzkwMzMwOTQwMg==&mid=2247484008&idx=1&sn=11617fd316f5a36f87362d0ab974229e&chksm=c099735df7eefa4ba2748cd14e4a0b4d84dda3010716277e9036baca5982a64cc117e35...
> > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ -> HDFS/Hive(下面均称之为 MQ dump,具体介绍可见 字节跳动基于Flink的MQ-Hive实时数据集成 ) 在数仓建设第一层,对数据的准确性和实时性要求比较高。> > > ![picture.image](https://p6-volc-communit...
消息队列 RocketMQ版是一款火山引擎提供的消息中间件服务。RocketMQ 基于高可用分布式集群技术,提供了高可靠、可扩展、灵活路由的托管消息队列,泛应用于秒杀、流控、系统解耦等场景。 调用说明消息队列 RocketMQ版提供了 OpenAPI,您可以通过发送 HTTPS 请求调用消息队列 RocketMQ版的 API。调用 API 时,您需要向火山引擎消息队列 RocketMQ版 API 的服务端地址发送 HTTPS 请求,并参考各个业务接口文档,在 HTTPS 请求中填入正确的请...
消息队列 RocketMQ版是一款火山引擎提供的消息中间件服务。RocketMQ 基于高可用分布式集群技术,提供了高可靠、可扩展、灵活路由的托管消息队列,泛应用于秒杀、流控、系统解耦等场景。 调用说明消息队列 RocketMQ版提供了 OpenAPI,您可以通过发送 HTTPS 请求调用消息队列 RocketMQ版的 API。调用API时,您需要向火山引擎消息队列 RocketMQ版 API 的服务端地址发送 HTTPS 请求,并参考各个业务接口文档,在 HTTPS 请求中填入正确的请求...