Kubernetes集群调用AutoDesk Forge API出现SSL证书认证错误

一、确认DNS解析异常问题（匹配你初步判断的方向，同时解释突然故障的原因） #

• 进入故障Pod执行多次nslookup developer.api.autodesk.com，收集所有返回的IP地址，和非K8s环境下正常解析的IP做对比，确认是否存在错误IP混在解析结果中。你遇到的请求Autodesk API返回doxo.com域名证书的问题，本质是请求被发到了归属doxo服务的IP上。
• 检查K8s集群CoreDNS的近期操作记录，确认是否有配置变更、版本升级、上游DNS调整的操作，和故障首次出现的时间点做匹配，解释此前稳定运行突然出问题的诱因。
• 检查集群节点的/etc/resolv.conf配置、CoreDNS的转发规则，确认是否配置了存在缓存故障的上游DNS服务器，或者存在错误的静态解析条目。

二、排查出口流量路由异常问题 #

• 确认集群是否部署了服务网格、出口网关、流量管控组件，检查近期是否上线了TLS拦截、路由重定向的策略，错误的规则会随机将发往Autodesk的流量转发到内部doxo服务上。
• 检查故障Pod是否被意外注入了代理Sidecar，验证代理的路由配置是否存在错误，导致部分流量被转发到错误地址。
• 排查集群出口的NAT规则、防火墙配置，确认是否存在错误的端口/IP映射，导致部分流量被导到异常服务。

三、解释故障随机性的成因 #

• K8s DNS默认对多解析结果做轮询返回，一旦DNS服务器返回的结果中同时存在正确、错误的IP，就会出现请求随机成功/失败的表现。
• 若CoreDNS的缓存时间配置较短，上游DNS的错误条目和正确条目交替返回，也会导致故障出现的时间、阶段完全随机。
• 若出口代理的连接池配置存在异常，部分连接被复用指向错误上游服务，也会出现随机成功、随机挂起超时的情况。

四、临时恢复方案 #

• 若要快速恢复业务，可在应用的Deployment中添加hostAliases配置，硬编码developer.api.autodesk.com的正确IP，跳过集群DNS解析，若故障消失即可实锤是DNS解析问题。
• 临时将应用的DNS配置改为公共DNS，绕过集群内部DNS服务，验证故障是否解决。
• 若集群配置了全局出口代理，给应用添加NO_PROXY规则排除autodesk.com域名走代理，验证是否恢复。

内容的提问来源于stack exchange，提问作者user16763008