本文介绍 Kafka 业务迁移的方案与基本流程。业务上云过程中,您可以参考本文档,将自建 Kafka 集群或其他云厂商 Kafka 集群平滑迁移至火山引擎消息队列 Kafka版。
消息队列 Kafka版是一款基于 Apache Kafka 构建的分布式消息中间件服务,具备高吞吐、高可扩展性等特性,提供流式数据的发布/订阅和多副本存储机制,广泛应用于日志压缩收集、流式数据处理、消息解耦、流量削峰去谷等应用场景。
在 Kafka 业务迁移过程中,只会迁移消息生产和消费的链路和业务流量。已经持久化的消息不会迁移到新的 Kafka 集群,您需要自行处理。
消息队列 Kafka版提供以下两种迁移方案供您选择,请根据自身业务特点,谨慎选择迁移方案。
方案 | 说明 | 适用场景 |
---|---|---|
方案一 | 先在云端建立新的消息生产与消费流程,再停止原集群的生产业务,并在旧集群消费完旧消息之后停止消费端。 | 该方案优势在于可以保证业务的连续性,任何时候新生产的数据都能被及时进行消费处理。适用于对于消息处理顺序无特殊要求的业务场景。 |
方案二 | 迁移新的生产端,但不消费,待旧的消息在旧消费端消费完成后再启动新的消费端开始消费。 | 迁移过程中,需要等待原始集群的数据处理完成。该方案可保障消息消费的有序性,保证更早写入的数据能优先被处理,适用于消息处理有先后顺序要求的业务。 |