本地连接AWS MSK创建主题及.NET应用接入失败问题咨询

首先明确：不需要手动在MSK集群配置中添加listeners相关参数。AWS托管MSK在开启公网访问后会自动完成监听规则配置、分配公网接入点，手动修改listeners配置反而会导致集群接入异常。

命令行创建Topic报"the broker is not available"修复 #

• 修正命令参数错误：当前执行的命令中--bootstrap-server参数误填了Zookeeper连接串，Zookeeper本身不支持公网暴露，这个位置必须填写MSK控制台展示的公网Bootstrap端点。
• 补充必填认证配置：开启SASL/SCRAM认证后不能裸连集群，执行命令前需要准备两个配置文件：
  1. JAAS认证配置文件client_jaas.conf，写入以下内容，替换成实际的SCRAM账号密码：

  KafkaClient {
  org.apache.kafka.common.security.scram.ScramLoginModule required
  username="你的SCRAM用户名"
  password="你的SCRAM密码";
  };
  

  2. 客户端安全配置文件client.properties，写入以下配置，SCRAM算法和集群实际配置保持一致：

  security.protocol=SASL_SSL
  sasl.mechanism=SCRAM-SHA-512
  ssl.truststore.location=/本地路径/kafka.client.truststore.jks
  

• 执行命令前先在终端注入JAAS配置环境变量：

  export KAFKA_OPTS="-Djava.security.auth.login.config=/本地路径/client_jaas.conf"
  

• 用修正后的完整命令创建Topic：

  /bin/kafka-topics.sh --create \
  --bootstrap-server <替换为MSK公网Bootstrap端点> \
  --command-config /本地路径/client.properties \
  --replication-factor 3 \
  --partitions 1 \
  --topic ExampleTopicName
  

基础连通性排查（命令行、.NET应用连接失败通用排查） #

• 安全组规则校验：MSK绑定的安全组入站规则，必须放开本地公网出口IP对9098端口的访问（MSK公网SASL_SSL默认监听9098端口），同时确认VPC网络ACL没有拦截该端口的出入方向流量。
• 子网配置校验：创建的两个公网子网，必须满足两个条件：一是路由表存在目标为0.0.0.0/0、下一跳为绑定Internet Gateway的路由规则；二是子网已开启「自动分配公网IP」功能，否则MSK的broker网卡不会分配公网地址，无法从公网访问。
• ACL配置校验：当前设置了allow.everyone.if.no.acl.found=false，必须提前给使用的SCRAM账号分配对应Topic的创建、读写权限，否则网络连通后也会被权限拦截。排查阶段可以临时把该参数改为true测试连通性，连通后再按需配置最小权限ACL。

.NET应用连接注意事项 #

• 连接串必须使用MSK公网Bootstrap端点，不要填写内网端点、Zookeeper地址。
• 客户端配置必须指定安全协议为SaslSsl，SCRAM算法和集群配置保持一致，同时填入正确的SCRAM账号密码。
• 本地测试前先执行telnet <MSK公网端点域名> 9098验证端口连通性，如果telnet不通优先排查本地网络、代理、安全组、路由配置，不要先调整代码逻辑。

内容的提问来源于stack exchange，提问作者ja841014