使用EC2客户端在MSK集群创建主题时遇节点分配超时故障

以下是针对该报错的具体排查和修复步骤：

• 安全组规则校验
  确认EC2客户端的安全组出站规则允许访问MSK集群的安全组，同时MSK集群的入站规则必须对EC2的安全组开放对应端口：

  • 明文通信用9092
  • TLS加密用9094
  • IAM认证用9096
    避免用IP范围限制，直接授权EC2安全组访问更可靠。

• 网络连通性测试
  在EC2上运行以下命令测试Broker连通性：

  nc -zv <MSK_BROKER_PRIVATE_ENDPOINT> 9094
  

  如果连接失败，检查VPC路由表是否包含MSK集群所在子网的路由，NACL规则是否允许双向流量，确保EC2和MSK在同一VPC或已配置VPC对等连接。

• Kafka客户端参数调整
  确保使用MSK控制台提供的私有Broker端点（不要用公网端点除非已配置公网访问），创建主题时增加超时参数避免过早断开：

  kafka-topics.sh --create --topic your-topic-name --bootstrap-server <MSK_BROKER_LIST> --partitions 2 --replication-factor 2 --command-config client.properties --request-timeout-ms 30000
  

  若使用IAM认证，确认client.properties中已配置IAM插件，且EC2实例拥有kafka:CreateTopic权限的IAM角色。

• MSK集群状态检查
  登录AWS控制台确认MSK集群状态为Active，若集群处于创建/更新中会无法处理请求。同时查看CloudWatch监控，检查Broker节点的CPU、磁盘使用率是否过高，负载过高会导致响应超时。

• VPC DNS配置验证
  在EC2上执行nslookup <MSK_BROKER_ENDPOINT>，确认能解析到私有IP。若解析失败，检查VPC的enableDnsHostnames和enableDnsSupport是否均设为true，这是解析MSK私有端点的必要条件。

内容的提问来源于stack exchange，提问作者Douglas Guzman