Kafka中如何让特定消费者仅消费对应生产者的消息？

方案1：消息携带生产者标识 + 客户端本地过滤 #

• 生产者A/B/C/D发送消息时，在消息的Headers或者消息体中加入生产者标识（比如producer: "A"）
• 消费者W/X/Y/Z在收到消息后，直接在本地判断标识：W只处理标识为"A"的消息，X只处理"B"的，以此类推，不符合的直接丢弃
• 优势：实现成本极低，不需要改动Topic结构或集群配置；劣势：所有消费者都会接收到全量消息，只是本地过滤，会有一定带宽浪费，适合消息量不大的场景

方案2：消息键（Key）绑定分区 + 消费者指定分区消费 #

• 先给目标Topic创建4个分区（和生产者数量对应）
• 生产者发送消息时，给消息指定对应的Key：A用Key"A"，B用Key"B"，以此类推。Kafka默认的分区器会将相同Key的消息路由到固定分区（也可以自定义分区器强化绑定关系）
• 消费者W只订阅Topic的分区0，X订阅分区1，Y订阅分区2，Z订阅分区3。这样每个消费者只会收到对应分区的消息，也就是对应生产者发送的内容
• 优势：没有带宽浪费，消费者只接收自己需要的消息；劣势：需要提前规划分区数量，生产者必须严格按规则设置Key，后续新增生产者需要调整分区或分区器逻辑

方案3：Broker端消息过滤（Kafka 0.10.2+支持） #

• 生产者发送消息时，在消息Headers中添加生产者标识，比如producer-id: "A"
• 消费者订阅Topic时，指定Broker端过滤条件：比如Java SDK可通过ConsumerConfig.FILTER_CONFIG配置headers('producer-id')='A'这类规则，不同语言SDK写法略有差异
• 优势：Broker直接过滤掉不符合条件的消息，不会推送给消费者，带宽效率最高；劣势：依赖特定Kafka版本，需要熟悉客户端SDK的过滤配置

内容的提问来源于stack exchange，提问作者Mohammed EL JOUHARI