AWS Network ELB连接时而秒通时而长时间超时问题排查求助

故障特征参考 #

你执行的telnet测试日志显示NLB的3个解析IP中2个连接超时、1个可正常连通，符合部分NLB节点转发异常的典型特征：

➜  ~ telnet host.elb.ap-northeast-1.amazonaws.com 8090
Trying 54.238.219.184...
telnet: connect to address 54.238.219.184: Operation timed out
Trying 35.74.146.43...
telnet: connect to address 35.74.146.43: Operation timed out
Trying 35.73.158.173...
Connected to host.elb.ap-northeast-1.amazonaws.com.
Escape character is '^]'.
^CConnection closed by foreign host.

可能的诱因 #

• NLB关联的目标组存在不健康的后端实例，NLB的DNS会返回所有绑定节点的IP，请求解析到绑定不健康后端的IP时就会超时，只有解析到绑定健康后端的IP才能正常连通
• NLB未开启跨可用区负载均衡，你客户端访问的可用区下没有部署健康的后端实例，导致该可用区对应的NLB节点IP无法正常转发流量
• 后端实例的安全组/网络ACL规则配置不全，仅放通了部分NLB节点的转发流量，其他NLB节点转发的请求被拦截
• NLB所在部分子网的路由配置异常，缺少指向互联网网关的出网路由，导致该子网下的NLB节点无法正常回包给客户端
• 客户端本地缓存了NLB的过期IP，NLB节点IP会动态调整，已下线的IP被客户端访问时就会出现超时

排查步骤 #

• 登录AWS控制台进入对应NLB的目标组页面，确认所有注册的后端实例健康检查状态，标记出不健康的实例
• 进入NLB属性页，确认「跨可用区负载均衡」功能是否开启，未开启的话逐一核对每个启用的可用区下是否存在健康的后端实例
• 单独测试NLB的每个公网IP连通性，执行telnet [单个NLB节点IP] 8090，记录所有无法连通的IP对应的可用区
• 检查后端实例的安全组入站规则，确认8090端口已经放通NLB所在VPC的CIDR或对应NLB节点IP段，同时确认网络ACL没有拦截8090端口的双向流量
• 查看NLB所在子网的路由表，确认存在指向互联网网关的默认路由（0.0.0.0/0 -> IGW），且到后端实例所在子网的路由配置正常
• 清理客户端DNS缓存后重新测试，Linux执行systemd-resolve --flush-caches，Windows执行ipconfig /flushdns，排除过期缓存的影响

对应解决方法 #

• 目标组存在不健康实例：排查后端实例上8090端口的服务运行状态，修复服务故障，或根据实际业务调整健康检查的阈值、端口、路径配置，待所有实例恢复健康后重新测试连通性
• 跨可用区负载均衡未开启：优先开启该功能，开启后NLB会自动将流量转发到所有可用区的健康后端，不受客户端访问可用区的限制；如果不开启该功能，需要在每个启用的可用区都部署至少1个健康的后端实例
• 安全组/ACL规则配置不全：将后端实例8090端口的入站源地址调整为NLB所在VPC的CIDR，如需更严格的控制可以单独添加NLB节点的IP段到放行列表
• 子网路由异常：修复NLB所在子网的路由表，补充指向互联网网关的默认路由，确保公网流量可以正常转发和回包
• 客户端DNS缓存问题：定期清理本地DNS缓存，或调整客户端的DNS TTL配置，避免长期缓存NLB的动态IP地址

内容的提问来源于stack exchange，提问作者Anzhari