如何防止删除Kafka日志时连带删除Topic及业务数据？

针对你遇到的误删日志导致主题丢失的问题，可通过以下措施保障数据安全：

1. 分离Kafka与ZooKeeper的数据存储目录 #

你当前将两者数据放在同一个my-logs-kafka目录下，误删时会同时丢失Kafka数据和ZooKeeper中的主题元数据。需修改配置分开存储：

• 在server.properties中保持log.dirs=C:/kafka_2.13-3.6.1/my-logs-kafka/kafka-logs
• 在zookeeper.properties中设置dataDir=C:/kafka_2.13-3.6.1/my-logs-kafka/zookeeper-logs
  这样即使误删Kafka日志目录，ZooKeeper中的主题元数据仍可保留，便于后续恢复。

2. 配置永久数据保留策略 #

修改Kafka的日志保留配置，避免数据因时间或空间阈值自动删除：

全局配置（所有主题生效） #

在server.properties中调整：

# 设置为永久保留（-1表示无时间限制）
log.retention.ms=-1
# 注释掉按大小删除的配置，避免数据因磁盘空间自动清理
# log.retention.bytes=1073741824

单主题配置（仅指定主题生效） #

创建主题时直接指定永久保留：

bin/kafka-topics.sh --create --topic inventory-events --bootstrap-server localhost:9092 --config retention.ms=-1

已创建的主题可通过以下命令修改配置：

bin/kafka-configs.sh --alter --topic inventory-events --bootstrap-server localhost:9092 --add-config retention.ms=-1

3. 启用多副本机制（生产环境必备） #

当前你使用单节点Kafka（复制因子为1），无数据冗余，一旦日志丢失则数据彻底无法恢复。需搭建多节点集群：

1. 复制3份Kafka目录，分别修改每个节点的server.properties：
   • 节点1：broker.id=0，log.dirs=C:/kafka_2.13-3.6.1/node0/my-logs-kafka/kafka-logs
   • 节点2：broker.id=1，log.dirs=C:/kafka_2.13-3.6.1/node1/my-logs-kafka/kafka-logs
   • 节点3：broker.id=2，log.dirs=C:/kafka_2.13-3.6.1/node2/my-logs-kafka/kafka-logs
     所有节点的zookeeper.connect=localhost:2181保持一致
2. 依次启动3个Kafka节点
3. 创建主题时设置3副本：

bin/kafka-topics.sh --create --topic inventory-events --bootstrap-server localhost:9092 --partitions 3 --replication-factor 3

多副本下，即使某一节点的日志文件丢失，其他节点的副本会自动同步恢复数据，避免单点故障导致的数据丢失。

4. 限制数据目录的操作权限 #

在Windows系统中，给my-logs-kafka目录设置严格的权限：

• 右键目录 → 属性 → 安全
• 仅赋予运行Kafka的用户读写权限，其他用户设置为只读或拒绝访问，防止误删操作。

5. 定期备份数据与元数据 #

• Kafka数据备份：定期复制log.dirs目录到外部存储（如移动硬盘、云存储），可使用Windows的robocopy命令自动执行：

robocopy "C:/kafka_2.13-3.6.1/my-logs-kafka/kafka-logs" "D:/kafka-backup/kafka-logs" /E /COPYALL /MIR

• ZooKeeper元数据备份：定期备份zookeeper.properties中dataDir指向的目录，确保主题元数据可恢复。

6. 规范主题删除流程 #

永远不要手动删除Kafka日志目录中的文件，删除主题必须使用官方命令：

bin/kafka-topics.sh --delete --topic inventory-events --bootstrap-server localhost:9092

该命令会自动清理对应主题的日志文件及ZooKeeper中的元数据，避免手动操作导致的异常。

内容的提问来源于stack exchange，提问作者Abhishek