多个publisher向topic/partition发布消息相关技术问题咨询

问题1解答 #

该表述在默认场景下成立，前提是3个分区的leader副本分别运行在不同的broker节点上。
当单个生产者使用无消息key的轮询分区策略时，会依次将消息分配到topic的所有分区，而Kafka规定所有分区的写入请求必须发送给对应分区的leader broker处理，因此最终该生产者会向全部3个broker leader发布消息。 #

问题2解答 #

该表述正确。
Kafka原生生产者实例没有默认和特定分区、特定broker leader绑定的机制，除非上层业务自行实现了自定义分配逻辑。默认情况下3个生产者实例各自执行分区选择逻辑时，都会覆盖全部3个分区，因此都会和所有3个broker leader建立连接并发送请求，不会自动实现实例和leader的一一绑定。 #

问题3解答 #

你这里的基础认知存在偏差，Kafka原生生产者不存在所谓的「内部offset topic负责多实例任务分配」的机制：

• 你提到的offset主题（Kafka内置的__consumer_offsets）是消费者侧的组件，仅用于存储消费者的消费位点，和生产者完全无关，生产者不会维护任何生产侧的offset主题，也不存在通过offset确认下一个待发布事件位置的逻辑。
• 如果你需要实现多个生产者实例之间的任务分配（比如每个实例仅负责写入特定分区），必须自行开发上层分配逻辑，Kafka原生生产者不提供这类能力。
• 后续的猜测也不成立：生产者本身没有专属的offset主题，不存在单实例独立offset主题、多实例共享offset主题的说法。

内容的提问来源于stack exchange，提问作者Doug Whitfield