如何从VPC外部访问AWS MSK（Kafka）？VM连接失败问题排查与解决方案

首先得明确一点：AWS MSK 默认是仅限 VPC 内部访问的，所以你在DC的虚拟机（属于VPC外部环境）直接连肯定不行，哪怕安全组开了所有流量也没用——因为MSK的broker端点都是私有IP/域名，外部网络根本解析不到或者路由不通。结合你已经能访问私有ApiGateway的情况，我给你几个可行的解决方案：

方案1：通过Bastion主机做端口转发（快速验证） #

这是最容易快速实现的方法，不需要改动现有网络架构，用一台跳板机把MSK的端口映射到你的DC虚拟机上：

• 在MSK所在的VPC中创建一台Bastion EC2实例，放在带公网IP的子网里。
  • 配置Bastion的安全组：允许你的DC虚拟机IP访问SSH（22端口），同时允许Bastion访问MSK的broker端口（默认是9092，若启用TLS则是9094）。
• 在你的DC虚拟机上，执行SSH端口转发命令，把MSK的broker端口映射到本地：

  # 以非TLS端口为例，替换成你的密钥、Bastion公网IP和MSK broker地址
  ssh -i "your-bastion-key.pem" -L 9092:b-1.your-msk-cluster.xxxx.c1.kafka.us-east-1.amazonaws.com:9092 ec2-user@bastion-public-ip
  

  如果是多broker集群，你需要为每个broker都做端口转发，比如：

  ssh -i "your-bastion-key.pem" -L 9092:b-1.your-msk-cluster.xxxx.c1.kafka.us-east-1.amazonaws.com:9092 -L 9093:b-2.your-msk-cluster.xxxx.c1.kafka.us-east-1.amazonaws.com:9092 ec2-user@bastion-public-ip
  

• 保持SSH连接打开，然后在DC虚拟机上运行Kafka命令时，用localhost:9092作为bootstrap服务器：

  kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 3 --replication-factor 2
  

• 注意：如果你的MSK集群启用了TLS加密，需要下载MSK的信任证书到DC虚拟机，然后在Kafka客户端配置中指定ssl.truststore.location等参数，同时转发9094端口。

方案2：打通DC与AWS VPC的网络连接（长期生产环境推荐） #

既然你已经能访问私有ApiGateway，说明你的DC和AWS VPC之间可能已经有VPN或Direct Connect连接，但路由或DNS配置没覆盖到MSK。需要做以下检查和配置：

• 确认网络路由：检查你的DC网络路由表，是否有指向MSK所在VPC CIDR的路由条目；同时检查AWS VPC的路由表，是否有指向DC子网的路由条目。确保双向路由通畅。
• 配置DNS解析：MSK的broker域名是私有域名，只能在VPC内部解析。你需要：
  • 要么在DC的DNS服务器上配置转发，把MSK的域名解析请求转发到AWS VPC的Route 53 Resolver；
  • 要么把MSK所有broker的IP和域名手动添加到DC虚拟机的/etc/hosts文件里（可以通过AWS控制台的MSK集群详情页获取broker的私有IP）。
• 验证安全组与ACL：确保MSK的安全组允许DC虚拟机的IP段访问broker端口（9092/9094）；同时检查VPC的网络ACL，是否允许双向的流量通过。
• 直接连接MSK：完成以上配置后，就可以直接用MSK的bootstrap服务器地址运行命令了：

  kafka-topics.sh --create --topic test-topic --bootstrap-server b-1.your-msk-cluster.xxxx.c1.kafka.us-east-1.amazonaws.com:9092,b-2.your-msk-cluster.xxxx.c1.kafka.us-east-1.amazonaws.com:9092 --partitions 3 --replication-factor 2
  

额外注意事项 #

• 如果你的MSK集群启用了SASL/IAM认证，还需要在Kafka客户端配置中添加对应的认证参数，比如IAM认证需要配置security.protocol=SASL_SSL和sasl.mechanism=AWS_MSK_IAM等。
• 测试连接时，可以先用telnet或nc命令验证端口是否能通，比如telnet localhost 9092（方案1）或telnet b-1.your-msk-cluster.xxxx.c1.kafka.us-east-1.amazonaws.com 9092（方案2），先确保端口连通性，再运行Kafka命令。

内容的提问来源于stack exchange，提问作者Chintamani