如何通过IAM认证从Spring Boot/本地连接AWS MSK并解决超时问题？

一、修复AdminClient配置错误 #

你的AdminClient配置存在两处关键问题：

1. JAAS配置不完整：SASL_JAAS_CONFIG的值缺少required;声明，正确配置应为：

   configs.put(SaslConfigs.SASL_JAAS_CONFIG, "software.amazon.msk.auth.iam.IAMLoginModule required;");
   

2. 配置键兼容性调整：针对Kafka 2.6.0版本，直接使用完整的配置字符串键替代常量，避免识别异常：

   @Bean
   public KafkaAdmin admin() {
       Map<String, Object> configs = new HashMap<>();
       configs.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaURLConfiguration.getKafkaURL());
       configs.put("security.protocol", "SASL_SSL");
       configs.put("sasl.mechanism", "AWS_MSK_IAM");
       configs.put("sasl.jaas.config", "software.amazon.msk.auth.iam.IAMLoginModule required;");
       configs.put("sasl.client.callback.handler.class", "software.amazon.msk.auth.iam.IAMClientCallbackHandler");
       return new KafkaAdmin(configs);
   }
   

二、排查连接超时问题 #

超时错误多由网络或权限问题导致，按以下步骤逐一验证：

• 安全组规则检查：确保MSK集群的安全组允许应用服务器IP访问9198端口（SASL_SSL公网端口），入站规则需添加对应IP/端口的允许策略。
• IAM权限配置：应用使用的IAM角色必须具备MSK集群的连接与描述权限，示例策略：

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Action": [
                  "kafka-cluster:Connect",
                  "kafka-cluster:DescribeCluster"
              ],
              "Resource": "arn:aws:kafka:你的区域:你的账号:cluster/你的集群名/*"
          }
      ]
  }
  

• 依赖版本匹配：确认aws-msk-iam-auth依赖与Kafka 2.6.0版本兼容，Maven依赖示例：

  <dependency>
      <groupId>software.amazon.msk</groupId>
      <artifactId>aws-msk-iam-auth</artifactId>
      <version>1.1.5</version>
  </dependency>
  

• 公网访问验证：确认MSK集群公网访问已开启，客户端使用的是公网Bootstrap地址（端口9198），同时VPC路由表已正确关联Internet网关，子网具备公网访问能力。

三、额外验证手段 #

1. 测试网络连通性：从应用服务器执行以下命令，确认能访问MSK端口：

   telnet your-msk-public-endpoint 9198
   

2. 开启调试日志：在application.properties中添加日志配置，查看详细连接过程：

   logging.level.org.apache.kafka=DEBUG
   logging.level.software.amazon.msk.auth.iam=DEBUG
   

内容的提问来源于stack exchange，提问作者Malav Mevada