能否在无NAT的EKS Fargate环境中仅用VPC Endpoint使用TargetGroupBinding？

问题 #

我希望仅通过VPC Endpoint构建EKS和Fargate环境，不使用NAT网关，但在应用TargetGroupBinding时出现以下错误：

Error from server {Internal}: error when creating "targetgroup-binding.yaml": Internal error occurred: failed calling webhook "mtargetgroupbinding.elbv2.k8s.aws": failed to call webhook: Post "https://aws-load-balancer-webhook-service.kube-system.svc:443/mutate-elbv2-k8s-aws-v1beta-targetgroupbinding?timeout=10s": context deadline exceeded

已知在私有子网路由表配置NAT可解决，但想了解无需NAT的方案。

环境详情 #

• 用CDK创建EKS，控制平面在公有子网，Pod部署在私有子网；
• 计划用ALB发布API Web应用，通过切换TargetGroup实现蓝绿部署完成K8s升级；
• 已按AWS文档部署aws-load-balancer-controller，针对Fargate和私有子网Pod额外指定image.repository、region、vpcId参数；
• 已按AWS私有集群文档创建VPC Endpoint：ecr.api、ecr.dkr、s3、elasticloadbalancing、sts。

无NAT网关的解决方案 #

这个超时问题本质是Fargate Pod无法访问aws-load-balancer-controller的webhook服务，或者webhook自身无法通过VPC Endpoint完成AWS API调用，可通过以下步骤解决：

1. 确保controller Pod的调度与网络可达性

   • 检查aws-load-balancer-controller的部署配置，确认其运行的Fargate Profile包含kube-system命名空间，且Pod所在私有子网的路由表已指向已创建的VPC Endpoint。
   • 验证Fargate Pod的安全组规则，允许与kube-system命名空间内controller Pod的安全组进行443端口通信。

2. 补充缺失的VPC Endpoint

   • 添加ec2接口类型VPC Endpoint：controller处理TargetGroupBinding时需要调用EC2 API（如查询子网、安全组），无此Endpoint会导致请求出站失败超时。
   • 若环境使用KMS加密资源（如加密EBS卷），需添加kms接口类型VPC Endpoint，避免controller因无法访问KMS而卡住。

3. 配置webhook服务的网络规则

   • 检查aws-load-balancer-webhook-service的Service类型，若为ClusterIP，确保Fargate Pod所在私有子网的安全组允许出站访问该Service的443端口。

4. 验证权限与Endpoint策略

   • 确认aws-load-balancer-controller的IAM角色拥有elasticloadbalancing:RegisterTargets、ec2:DescribeSubnets等操作TargetGroup、ALB所需的权限。
   • 检查各VPC Endpoint的策略，确保允许controller的IAM角色通过Endpoint访问对应AWS服务（比如elasticloadbalancing的Endpoint策略需开放相关API调用权限）。

5. 确认VPC DNS配置

   • 确保VPC已启用enableDnsHostnames和enableDnsSupport，保证Fargate Pod能正确解析aws-load-balancer-webhook-service.kube-system.svc的ClusterIP，以及AWS服务的Endpoint域名。
   • 可在Fargate Pod内执行nslookup aws-load-balancer-webhook-service.kube-system.svc验证内部DNS解析是否正常。

内容的提问来源于stack exchange，提问作者YutaSaito