如何在Spring Cloud Stream Kafka Binder中为多主题配置不同分区数

要给不同Kafka主题分别配置分区数，你可以利用Spring Cloud Stream Kafka Binder的topicProperties属性，为每个主题单独指定分区参数。具体修改后的配置如下：

spring:
  cloud:
    stream:
      default:
        group: xxxx
        consumer:
          partitioned: true
          concurrency: 5
      kafka:
        binder:
          configuration:
            max.poll.interval.ms: 100000
            max.poll.records: 100
          brokers: xx.xx.xx.xx
          defaultBrokerPort: 8080
          replicationFactor: 1
          # 为每个主题单独配置分区数
          topicProperties:
            topic1:
              num.partitions: 5
            topic2:
              num.partitions: 5
            topic3:
              num.partitions: 5
            topic4:
              num.partitions: 1
      function:
        definition: methodName
      bindings:
        methodName-in-0:
          destination: topic1, topic2, topic3, topic4

关键说明 #

• 单独配置的原理：topicProperties允许为每个Kafka主题指定专属配置，这里的num.partitions就是用来设置主题的分区数量，旧版Kafka Binder会在创建主题时使用这些参数。
• 已存在主题的处理：如果这些主题已经在Kafka集群中创建过，配置文件的修改不会自动变更分区数，你需要手动执行Kafka命令调整：

  # 示例：调整topic4的分区数为1（如果之前不是1的话）
  kafka-topics.sh --alter --topic topic4 --partitions 1 --bootstrap-server xx.xx.xx.xx:8080
  

• 消费者并发的兼容性：你设置的concurrency:5对于3个5分区的主题是匹配的，但对于topic4（1分区），Spring Cloud Stream会自动限制该主题的消费者实例数为1（因为单个分区只能被同一消费组内的一个消费者处理），无需额外调整。

内容的提问来源于stack exchange，提问作者meursault