如何正确执行Kafka KRaft模式下的数据备份？

在ZK模式下，Kafka集群的元数据（主题配置、分区映射、集群拓扑等）存储在ZooKeeper中，因此备份需要同时保存ZooKeeper状态和Broker的log.dir目录（消息数据、分区偏移量等）。

切换到KRaft模式后，仅复制log.dir目录不足以完成完整的数据备份，原因如下：

• KRaft模式用Raft控制器集群替代了ZooKeeper，集群元数据（包括主题信息、分区分配、控制器节点状态等）存储在控制器的元数据存储目录（对应配置metadata.log.dir，默认与log.dir同路径，但可单独配置）中，该目录包含Raft日志和快照，是集群正常运行的核心依赖。
• 若仅备份log.dir，恢复后的KRaft集群因缺失元数据，无法识别log.dir中的消息数据，无法建立主题、分区与数据文件的关联，导致集群无法正常启动或数据不可用。

完整的KRaft模式备份需包含以下内容：

• 所有Broker节点的log.dir目录：存储实际的消息数据、分区偏移量索引等。
• 至少一个KRaft控制器节点的metadata.log.dir目录：由于Raft元数据多副本同步，备份单个控制器节点的元数据目录即可恢复集群元数据。
• 集群的cluster.id及各节点的node.id配置信息：避免恢复时出现集群标识不匹配的问题。

备份时需注意：建议停止所有节点后再执行备份操作，或使用支持一致性快照的工具，确保元数据与消息数据的一致性。

内容的提问来源于stack exchange，提问作者Iceforest