什么是消息队列 Kafka版

消息队列 Kafka版是一款基于 Apache Kafka 构建的分布式消息中间件服务，具备高吞吐、高可扩展性等特性，提供流式数据的发布/订阅和多副本存储机制，广泛应用于日志压缩收集、流式数据处理、消息解耦、流量削峰去谷等应用场景。

消息队列 Kafka版开箱即用，业务代码无需改造，帮助您将更多的精力专注于业务快速开发，免除繁琐的部署和运维工作。

产品功能

• 高效的消息收发：海量消息堆积的情况下，消息队列 Kafka版仍然维持Kafka集群对消息收、发的高吞吐能力。对已消费消息重新消费或清除堆积消息，免去数据运维烦恼，帮助您恢复故障。
• 集群化部署：支持集群化部署，提供数据多副本冗余存储，确保服务高可用性和数据高可用性。
• 监控告警：实时统计消息的生产与消费，并可对消费延时、消息堆积等数据进行监控告警，帮助您及时发现问题。

应用场景

流计算处理

在金融与科学计算领域，由于数据量大、实时性强，对数据有更快运算和分析的需求，传统数据处理流程中先收集数据，然后将数据放到数据库中供查询和分析的处理架构已无法满足。消息队列 Kafka版配合 Flink 等流计算引擎，可以根据业务需求对实时数据进行计算分析，快速响应分析结果到下一节点。

流量削峰

在电子商务系统或大型网站中，不同系统间处理能力存在差异，在进行商品秒杀或新品发布上线等大型活动时，上游系统产生的突发流量可能会对某些处理能力低的下游系统造成冲击，若没有相应的保护或缓存机制，可能会导致系统超负荷甚至是崩溃，因而丢失业务数据。消息队列 Kafka版可在流量洪峰突然来袭时暂时缓存上游系统的突增请求，允许下游系统按照实际消费能力处理请求，使得下游系统可在安全水位内平滑稳定的运行，避免下游订阅系统因突发流量崩溃。

日志分析

将应用与分析系统解耦，构建应用系统和日志分析系统的桥梁，将多台应用主机产生的日志信息“批量”、“异步”地发送到消息队列 Kafka版的集群，日志分析系统可随时使用 Hadoop 等其他系统化的存储和分析系统拉取日志进行统计分析。
消息队列 Kafka版的低延迟特性，保证日志采集时业务无感知，与开源 Kafka 相比，在同样性能条件下可实现更强的持久化和更低的端到端延迟。