Ubuntu环境下Kafka双日志目录如何同步以保留历史数据？

不能通过Zookeeper直接同步这两个目录——Zookeeper仅存储Kafka的元数据（如主题配置、集群ID、分区分配规则），不保存实际消息数据，所有消息都存在日志目录的segment文件中。以下是可行的数据合并恢复步骤：

操作前准备 #

1. 先停掉所有相关服务，避免操作过程中数据混乱：

   sudo systemctl stop kafka
   sudo systemctl stop zookeeper
   

2. 对两个日志目录做完整备份，防止操作失误丢失数据：

   tar -czf kafka-logs-backup.tar.gz /path/to/kafka/logs /path/to/kafka/logs-1
   

合并日志目录数据 #

1. 确认两个目录的内容差异：

   • 分别列出两个目录下的主题：

     ls /path/to/kafka/logs
     ls /path/to/kafka/logs-1
     

   • 记录哪些主题是某一个目录独有的，哪些是两个目录都存在的。

2. 合并数据到目标目录（建议保留原logs目录作为最终存储）：

   • 对于logs-1中独有的主题，直接复制整个主题目录到logs下：

     cp -r /path/to/kafka/logs-1/your-unique-topic* /path/to/kafka/logs/
     

   • 若存在同名主题，需检查分区的偏移量完整性：
     • 查看分区目录下的segment文件名（如00000000000000000000.log代表起始偏移量为0），选择数据覆盖范围更大的分区目录保留；
     • 若两个目录的分区数据无重叠偏移量，可将logs-1下的segment文件复制到对应分区目录（注意不要覆盖已有文件）。

修复集群ID一致性 #

1. 查看合并后logs目录下的meta.properties文件，提取其中的cluster.id值：

   cat /path/to/kafka/logs/meta.properties | grep cluster.id
   

2. 启动Zookeeper并修改存储的集群ID：

   sudo systemctl start zookeeper
   /path/to/zookeeper/bin/zkCli.sh
   

   在Zookeeper命令行中执行：

   set /cluster/id 你的cluster.id值
   

   执行完成后输入quit退出，再停掉Zookeeper：

   sudo systemctl stop zookeeper
   

配置验证与服务启动 #

1. 检查Kafka配置文件server.properties，确保log.dirs指向合并后的logs目录：

   grep log.dirs /path/to/kafka/config/server.properties
   

2. 依次启动服务并验证：

   sudo systemctl start zookeeper
   sudo systemctl start kafka
   

   • 查看所有主题是否恢复：

     kafka-topics.sh --list --bootstrap-server localhost:9092
     

   • 消费部分主题消息，确认数据完整性。

后续预防建议 #

• 下次遇到集群ID不匹配问题，优先尝试同步meta.properties和Zookeeper中的cluster.id值，不要直接删除日志目录；
• 开启日志目录的定期快照备份，避免宕机后数据丢失；
• 配置auto.create.topics.enable=false，减少意外创建的主题带来的管理混乱。

内容的提问来源于stack exchange，提问作者Guy_g23