Spring Cloud Stream Kafka Binder：如何为不同消费者配置不同max.poll.records？

你的问题出在配置层级错误，以及同一消费组带来的配置共享风险上，以下是具体解决方法：

问题根源 #

1. 配置层级错误：max.poll.records是Kafka原生消费者的配置参数，你直接放在consumer节点下不会被Spring Cloud Stream正确识别并传递给对应消费者实例，导致所有消费者复用了第一个生效的配置值。
2. 同一消费组冲突：两个消费者使用了相同的group.id（通过${spring.application.name}赋值），Kafka会将它们视为同一消费组的成员，即使配置正确，也可能出现配置共享或消费逻辑冲突的问题。

正确配置示例 #

修改application.yml，将max.poll.records移到consumer.configuration节点下，并为两个消费者设置独立的消费组：

bindings:
  first-consumer-in-0:
    destination: consumer.first
    use-native-encoding: true
    group: ${spring.application.name}-first
    content-type: application/*+avro
    consumer:
      batch-mode: true
      concurrency: 1
      partitioned: true
      configuration:
        max.poll.records: 500
        isolation.level: read_committed
  second-consumer-in-0:
    destination: consumer.second
    use-native-encoding: true
    group: ${spring.application.name}-second
    content-type: application/*+avro
    consumer:
      batch-mode: true
      concurrency: 1
      partitioned: true
      configuration:
        max.poll.records: 10
        isolation.level: read_committed

关键说明 #

• 配置层级修正：所有Kafka原生消费者配置（如max.poll.records、isolation.level）必须放在consumer.configuration节点下，Spring Cloud Stream才会为每个绑定的消费者单独注入这些配置。
• 独立消费组：不同的消费组拥有独立的消费偏移量和配置空间，既避免了同一组内的配置冲突，也符合Kafka消费组的设计逻辑——同一组内消费者分摊主题分区的消费压力，不同组则各自独立消费主题全量消息。

修改完成后重启应用，查看启动日志即可看到两个消费者的ConsumerConfig分别显示对应的max.poll.records值。

内容的提问来源于stack exchange，提问作者user3240895