如何向多个客户端机架发送Kafka消息？Spring Boot配置问题

我有一个基于Spring Boot的Kafka消息生产消费应用，需要给部署在不同开发服务器的客户端发送消息。原本的Kafka配置只指向server.a，新增需求后配置了多bootstrap-servers和多client.rack，但现在消息只会发送到server.b，求正确的配置方式。

原配置 #

spring:
  kafka:
    bootstrap-servers: server.a:port
    producer:
      properties:
        client.rack: server.a
    consumer:
      clientId: a-client-id
      groupId: a-group-id
      properties:
        client.rack: server.a
    jaas:
      options:
        username: an-username
        password: a-password

修改后异常配置 #

spring:
  kafka:
    bootstrap-servers: 
      - server.a:port
      - server.b:port
    producer:
      properties:
        client.rack: 
          - server.a
          - server.b
    consumer:
      clientId: a-client-id
      groupId: a-group-id
      properties:
        client.rack: server.a
    jaas:
      options:
        username: an-username
        password: a-password

解决方案 #

核心问题在于：client.rack是单值配置，不能设为数组。Kafka的client.rack用于标记客户端所在的机架，每个客户端实例只能归属一个机架，无法同时指定多个。之前的错误配置导致Kafka解析异常，最终只生效了最后一个值，所以消息只发到server.b。

正确配置方式 #

1. 生产者配置

bootstrap-servers配置多个节点是正确的，用于客户端发现集群所有broker。而client.rack需要根据当前生产者实例所在服务器单独设置：

spring:
  kafka:
    bootstrap-servers: 
      - server.a:port
      - server.b:port
    producer:
      properties:
        # 部署在server.a就设为server.a，部署在server.b就设为server.b
        client.rack: server.a
    jaas:
      options:
        username: an-username
        password: a-password

2. 消费者配置

消费者的client.rack同样是单值，用于让Kafka优先分配同机架的分区副本，提升消费效率，同样根据部署服务器调整：

spring:
  kafka:
    bootstrap-servers: 
      - server.a:port
      - server.b:port
    consumer:
      clientId: a-client-id
      groupId: a-group-id
      properties:
        # 部署在server.a就设为server.a，部署在server.b就设为server.b
        client.rack: server.a
    jaas:
      options:
        username: an-username
        password: a-password

部署差异化配置建议

如果你的应用需要部署在不同服务器对应不同机架，推荐用Spring Boot的profile或者部署时的环境变量来覆盖client.rack的值，比如：

• 部署到server.a时，启动参数加--spring.kafka.producer.properties.client.rack=server.a
• 部署到server.b时，启动参数加--spring.kafka.producer.properties.client.rack=server.b

内容的提问来源于stack exchange，提问作者BugsAreEverywhere