使用NLB和IAM认证公开AWS MSK服务时出现主机名验证失败问题

已知问题 #

• 强制主机名校验限制：MSK的SASL/IAM认证客户端默认强制校验访问目标的域名后缀必须为MSK官方域名格式.kafka.<区域>.amazonaws.com，自定义NLB域名、私有域名均不符合该规则，而SASL/SCRAM无此强制校验逻辑，这也是SASL能正常运行、IAM认证失败的核心差异。
• IAM签名与访问地址强绑定：IAM认证流程中，客户端会将当前访问的Broker地址、端口纳入签名计算逻辑，服务端会校验该信息和集群实际配置是否匹配，若advertised.listeners配置的NLB地址与内部Broker地址不匹配，会直接触发认证失败。
• 端口限制：MSK IAM认证默认使用9098端口，若NLB做了端口映射、对外暴露非9098端口，也会触发校验失败。

报错Hostname verification failed解决方案 #

1. 首先在Kafka客户端配置中添加参数，关闭IAM认证的主机名强制校验：

aws.msk.iam.hostname_verification_disable = true

不同语言的MSK IAM客户端参数写法可能存在差异，Java、Python、Go等主流语言的SDK均支持该配置项。
2. 确保客户端配置的bootstrap.servers地址、端口，与你在MSK上配置的advertised.listeners的地址、端口完全一致，避免出现域名和IP混用、端口不一致的情况。
3. 确认NLB、MSK集群的安全组均放行了9098端口的入站流量，你当前用的IAM身份（用户/角色）的权限策略中包含kafka-cluster:Connect等必要的MSK访问权限。

内容的提问来源于stack exchange，提问作者Skinkpajen