Kafka 0.81无kafka-topics.sh创建多分区主题及消费问题咨询

针对你在Kafka 0.8.1版本遇到的主题创建和消费相关问题，我来逐一拆解解答：

一、无需kafka-topics.sh创建多分区主题的方法 #

Kafka 0.8.1版本确实还没有提供kafka-topics.sh这个便捷脚本，不过你可以通过运行Kafka内置的Java类来创建主题，同时直接指定分区数（这是支持多线程/进程消费的核心前提）。具体命令如下：

bin/kafka-run-class.sh kafka.admin.CreateTopicCommand \
  --zookeeper <你的ZK地址:端口> \
  --topic <你的主题名称> \
  --partitions <所需分区数> \
  --replication-factor <副本数>

• 重点参数说明：
  • --partitions：必须设置为大于等于你计划使用的消费者线程/进程数，因为同一个消费组内，每个消费者实例只会分配到部分分区，只有分区数足够，才能实现多实例并行消费。
  • --replication-factor：根据你的集群节点数设置，比如单节点集群设为1，多节点建议设为2或3保证高可用。

另外，你也可以通过修改Kafka配置文件server.properties，开启自动创建主题：

auto.create.topics.enable=true

当生产者首次向某个不存在的主题发送消息时，Kafka会自动创建它，但这种方式默认分区数是num.partitions配置的值（默认1），所以如果需要多分区，还是推荐手动创建的方式更可控。

二、实现消息仅投递一次（Exactly-Once）的关键要点 #

Kafka 0.8.1版本没有像后续版本那样支持事务API和生产者幂等性，所以要实现“每条消息仅投递一次”，需要结合以下几点：

1. 依赖分区与消费组的机制：
   你提到的“无分区的队列无法实现”是完全正确的——只有当主题有多个分区，且使用相同Group ID的消费者实例数≤分区数时，Kafka会将分区均匀分配给各个消费者，每个分区的消费offset由消费组统一管理，避免同一条消息被同一个组内的多个消费者重复处理。

2. 手动控制offset提交：
   将消费者配置中的auto.commit.enable设为false，在你的业务代码中，确保消息处理完成后再手动提交offset。这样即使消费者进程意外崩溃，重启后也会从上次提交的offset位置继续消费，不会重复处理未完成的消息。

3. 业务层去重兜底：
   由于0.8.1版本生产者没有幂等性，如果生产者重试发送可能导致消息重复，建议给每条消息添加唯一业务ID（比如订单ID、日志ID），消费者处理前先检查该ID是否已经被处理过（可以存在数据库或缓存中），实现最终的去重。

三、单个消费者以两个独立进程运行的效果 #

这取决于两个进程使用的Group ID是否相同：

• 使用同一个Group ID：
  Kafka会将主题的分区分配给这两个进程（前提是分区数≥2），每个进程负责处理一部分分区，实现并行消费，提升整体消费能力。但如果分区数小于2，其中一个进程会处于空闲状态，不会分配到任何分区。这种模式下，只要配置好offset提交策略，就能保证同一条消息不会被同一个组内的两个进程重复消费。

• 使用不同的Group ID：
  两个进程会被视为独立的消费组，各自消费主题的所有分区，同一条消息会被两个进程分别处理，这就无法保证“仅投递一次”了，除非你在业务层做额外的去重处理。

内容的提问来源于stack exchange，提问作者vbNewbie