裸金属K8s+Istio环境HTTP-01校验自检查超时(疑hairpin回环)咨询
裸金属K8s环境ACME HTTP-01证书申请Hairpin回环问题处置
故障现象梳理
- 证书申请流程触发约1分钟后,出现自校验超时报错,日志显示尝试访问
http://jenkins.xyz.in/.well-known/acme-challenge/xxx时,连接公网IP103.66.96.201的80端口超时 - 公网环境访问完全正常:任意公网节点通过浏览器、curl请求该校验URL,都能拿到200状态码和对应的ACME校验值,响应头显示请求已经正常到达后端Istio Ingress
- 集群内部访问异常:无论是集群节点本身,还是集群内运行的Pod,只要通过
jenkins.xyz.in域名发起请求,都会卡在尝试连接公网IP的阶段,无后续响应 - 现有部署架构:Istio Ingress负载均衡运行在内网节点192.168.14.118上,公网域名
jenkins.xyz.in解析到公网负载均衡IP,公网负载均衡将流量转发到内网的Istio Ingress节点,全链路从公网侧访问无异常
问题根因
这是典型的Hairpin NAT(NAT回环)失效问题:
- 集群内部发起的请求,按照公网DNS的解析结果,把目标地址指向了公网负载均衡的对外IP103.66.96.201
- 由于公网负载均衡和集群节点同属一个内网路由域,内网发出来的回环请求没法正确匹配NAT转换规则,最终形成环路、连接超时
- 证书申请失败的直接触发点:cert-manager走HTTP-01申请流程时,会先在集群内部发起一次自检查,确认校验路径能正常访问后,才会等待Let's Encrypt从公网发请求校验,这一步的自检查请求刚好踩中了内网回环的路由问题
可落地方案
临时快速修复(优先用于恢复证书申请流程)
- 在cert-manager对应的Issuer/ClusterIssuer配置中,添加
disableHTTP01Check: true参数,跳过集群内部的自检查环节,直接等待Let's Encrypt的公网侧校验完成。这个方案不需要调整网络规则,改完配置重新触发证书申请即可恢复流程注意:这个参数只会跳过集群内部的自校验步骤,完全不影响Let's Encrypt从公网发起的校验流程,只要公网侧访问路径正常,证书申请就能正常走完
内网回环问题根治
- 修改集群CoreDNS配置,添加自定义hosts映射,将
jenkins.xyz.in这类需要内部访问的域名,直接在内网解析到Istio Ingress的内网地址192.168.14.118,让集群内部的请求不再绕行公网IP,从解析层切断回环路径 - 针对集群节点本身的访问问题,可直接在节点的
/etc/hosts文件中添加映射规则192.168.14.118 jenkins.xyz.in,覆盖公网DNS的解析结果 - 调整公网负载均衡的NAT规则,开启Hairpin模式,让内网发往公网VIP的请求,可以正常DNAT转发到后端的Istio Ingress节点,打通内网回环链路,不需要修改集群侧的DNS或hosts配置
架构长期优化
- 裸金属集群环境下可引入MetalLB作为集群内部负载均衡实现,将Istio Ingress服务关联到MetalLB分配的内网VIP,公网负载均衡直接转发到该内网VIP,从架构层面消除跨网段的回环环路问题
内容的提问来源于stack exchange,提问作者Arfat Binkileb
相关产品推荐
相关产品推荐

