rocketmq有什么优化
社区干货
干货|字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化(1)
> > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ ->... 巨大的任务量和数据量对 MQ dump 的稳定性以及准确性带来了极大的挑战。本文主要介绍 DTS MQ dump 在极端场景中遇到的数据丢失问题的排查与优化,最后介绍了上线效果。 本文分两次连载,第一篇主要介绍Flink Ch...
干货|字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化(2)
> > > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ... 巨大的任务量和数据量对 MQ dump 的稳定性以及准确性带来了极大的挑战。本文主要介绍 DTS MQ dump 在极端场景中遇到的数据丢失问题的排查与优化,最后介绍了上线效果。 本文分两次连载,[第一篇主要介绍Flink C...
字节跳动流式数据集成基于 Flink Checkpoint 两阶段提交的实践和优化背景
Kafka/ByteMQ/RocketMQ -> HDFS/Hive(下面均称之为 MQ dump,具体介绍可见 字节跳动基于 Flink 的 MQ-Hive 实时数据集成 ) 在数仓建设第一层,对数据的准确性和实时性要求比较高。目前字节跳动中国区 MQ dump 例行任务数巨大,日均处理流量在 PB 量级。巨大的任务量和数据量对 MQ dump 的稳定性以及准确性带来了极大的挑战。本文主要介绍 DTS MQ dump 在极端场景中遇到的数据丢失问题的排查与优化,最后介绍了上线效果。# 线上...
打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台 | 社区征文
没有云计算,谈论云原生架构就如同空谈理论。# RocketMQ的云原生架构实现在过去的数年中,RocketMQ基于大规模云计算环境的实践经验(例如,阿里(双十一、双十二)、携程(过年高峰期)),辅助了成千上万的企业完成数字... 当然其他主流的开源消息项目也没有进行云原生架构转型,比如RabbitMQ无法水平扩展单队列能力、Kafka扩容需要大量数据拷贝和均衡。这些现有解决方案都不适用于为大规模客户提供弹性服务的公共云环境。
特惠活动
rocketmq有什么优化-优选内容
rocketmq有什么优化-相关内容
RocketMQ 消费者使用建议
本文档介绍 RocketMQ 消费者的使用建议,推荐在使用消息队列 RocketMQ版进行消息生产与消费之前,阅读以下使用建议,提高接入效率和业务稳定性。 消费过程幂等RocketMQ 无法保证消息只被消费一次(Exactly-Once),即无法... 业务消费逻辑优化如果经由以上方式调试后,消费速率仍未提升,则需要排查是否由于业务消费逻辑慢导致消费速率不高。 通过查看消费组的客户端监控,观察 consumeRT 指标,看消息的消费平均延迟有多大。 观察消费者实例...
打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台 | 社区征文
没有云计算,谈论云原生架构就如同空谈理论。# RocketMQ的云原生架构实现在过去的数年中,RocketMQ基于大规模云计算环境的实践经验(例如,阿里(双十一、双十二)、携程(过年高峰期)),辅助了成千上万的企业完成数字... 当然其他主流的开源消息项目也没有进行云原生架构转型,比如RabbitMQ无法水平扩展单队列能力、Kafka扩容需要大量数据拷贝和均衡。这些现有解决方案都不适用于为大规模客户提供弹性服务的公共云环境。