Spring Boot对接AWS MSK所需application配置项咨询

完整适配后的application.yml配置 #

spring:
  kafka:
    # 替换为MSK提供的Broker地址
    bootstrap-servers: z3.kafka-central-1.amazonaws.com:9096,z1.kafka-central-1.amazonaws.com:9096,z2.kafka-central-1.amazonaws.com:9096
    consumer:
      key-deserializer: org.apache.kafka.common.serialization.IntegerDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      group-id: order-events
    admin:
      properties:
        bootstrap.servers: z3.kafka-central-1.amazonaws.com:9096,z1.kafka-central-1.amazonaws.com:9096,z2.kafka-central-1.amazonaws.com:9096
    # 新增MSK SASL/SCRAM认证核心配置
    properties:
      security.protocol: SASL_SSL
      sasl.mechanism: SCRAM-SHA-512
      sasl.jaas.config: org.apache.kafka.common.security.scram.ScramLoginModule required username="user-msk-kafka-user" password="XXXXXXXX";

核心配置说明 #

• 原有本地配置中仅bootstrap-servers和admin下的bootstrap.servers需要替换为MSK提供的地址，序列化、group-id等原有逻辑保持不变
• 新增的三个认证配置为必填项：
  • security.protocol：MSK默认采用SASL_SSL加密通信，必须配置才能正常连接集群
  • sasl.mechanism：按MSK集群认证方式配置，AWS MSK默认支持SCRAM-SHA-256和SCRAM-SHA-512两种，根据集群实际配置调整即可
  • sasl.jaas.config：填写分配的认证用户名和密码，注意末尾的分号不能省略，生产环境建议将账号密码存入配置中心或环境变量，避免明文泄露

可选配置（出现大消息消费异常时添加） #

如果消费过程中出现消息超过大小限制的报错，可添加如下配置适配集群的max.message.bytes限制：

spring.kafka.consumer.properties.max.partition.fetch.bytes: 3145728

内容的提问来源于stack exchange，提问作者user1346346