在macOS上使用kafka-topics.sh批量删除所有Kafka主题的方法

1. 批量删除所有主题的正确语法 #

针对你使用的Kafka 2.12-3.5.0版本，推荐使用--bootstrap-server替代已废弃的--zookeeper参数，以下两种方式均可实现批量删除：

方式一：正则表达式直接匹配删除 #

kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic '.*'

注：若Shell环境对正则转义有干扰，可改用双引号包裹".*"，确保正则表达式能被Kafka正确识别。

方式二：先列主题再循环删除（更稳妥，可过滤内置主题） #

如果正则匹配不生效，可通过先列出所有主题、再逐个删除的方式，同时能排除Kafka核心内置主题：

kafka-topics.sh --list --bootstrap-server localhost:9092 | grep -v "__consumer_offsets\|__transaction_state" | while read topic; do
  kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic "$topic"
done

• 上述命令排除了__consumer_offsets（存储消费者偏移）和__transaction_state（事务状态存储）两个内置主题，避免影响Kafka核心功能；若确实需要删除所有主题，可去掉grep -v部分。

2. 删除所有主题的注意事项 #

• 确认删除配置开启：检查Kafka的server.properties文件，确保delete.topic.enable=true（默认开启），否则删除命令仅会标记主题为待删除，不会实际清理数据。
• 内置主题谨慎操作：Kafka的内置主题是核心功能依赖，删除后会导致消费者偏移丢失、事务功能失效，非必要不要删除。
• 数据不可恢复：主题删除后，对应消息数据会被永久清理，操作前务必确认所有需要的数据已完成备份。
• 停止依赖服务：删除前需停止所有依赖该Kafka集群的生产者、消费者及相关业务服务，避免出现连接报错或数据异常。
• 权限验证：确保执行命令的用户拥有Kafka集群的主题删除权限，否则会返回权限不足的错误。
• 等待删除完成：大主题的删除需要一定时间，可通过kafka-topics.sh --list命令确认主题是否已从集群中移除。
• 版本适配：Kafka 3.x版本已标记--zookeeper参数为废弃，后续版本会移除该参数，建议优先使用--bootstrap-server方式。

内容的提问来源于stack exchange，提问作者just learner