私有GKE集群如何实现每个Pod出口流量使用独立公网源IP

问题根因 #

Cloud NAT的设计维度是GCE VM实例（也就是GKE集群的工作节点），而非Pod，且默认全局IP池模式下的分配逻辑是「优先填满单个NAT IP的可用端口块，再使用下一个IP」，本身不提供Pod粒度的独立源IP绑定能力。
你之前的实验结果完全符合默认配置的预期：单个Cloud NAT IP默认可用源端口总量为64512个，你将单VM最小分配端口设为57344时，1个NAT IP塞下1个节点的端口配额后仍有剩余端口，会继续给其他节点分配，直到端口耗尽才会切换到下一个NAT IP，因此8个独占节点的Pod只分到3个NAT IP是正常现象，和你配置多少个预留IP没有关系。

生产验证过的可行方案 #

不需要将集群转为公有GKE集群，根据你的Pod调度模式选对应方案即可：

方案1：节点粒度绑定专属NAT IP（零额外组件，运维成本最低，适合Pod数量固定、可独占节点的场景）

这个方案在1.21.x版本的私有GKE集群上有过16节点生产环境落地经验，稳定运行超过2年，完全满足出口IP专属要求：

• 第一步：给需要专属出口IP的Pod配置节点亲和性与污点容忍，确保1个GKE节点仅调度1个目标Pod，和你之前的实验调度逻辑一致。
• 第二步：调整Cloud NAT配置，不要使用全局IP池自动分配，开启单VM静态NAT地址映射功能，给每个GKE节点单独绑定1个提前预留的静态公网IP，同时将Minimum ports per VM instance参数设置为64512（也就是单VM占满单个NAT IP的全部可用端口，从配置上杜绝多个节点共享同一个NAT IP的可能）。
• 第三步：保持Dynamic port allocation、Endpoint-Independent Mapping为disabled状态，不需要开启其他额外功能。
  配置生效后，每个节点上的唯一Pod访问公网的源IP，就是你给该节点绑定的专属静态公网IP，不会和其他Pod共享。

方案2：Calico策略路由+专属SNAT网关（适合Pod数量动态变化、无法独占节点的场景）

如果你的业务Pod需要弹性扩缩、不能长期独占节点，可以用这个方案：

• 第一步：给GKE集群启用Calico网络插件（GKE原生支持该配置，不需要手动部署整套CNI组件）。
• 第二步：提前预留对应数量的静态公网IP，部署一组小规格GCE实例作为专属SNAT网关，每个网关绑定1个静态公网IP，配置好IP转发和SNAT规则。
• 第三步：通过Calico网络策略给需要专属出口IP的Pod配置静态策略路由，将对应Pod的所有公网出口流量转发到指定的专属SNAT网关上，Pod漂移时路由规则会自动同步。
  这个方案不需要Pod独占节点，集群节点可以正常混部其他业务，缺点是需要维护少量SNAT网关实例，运维成本略高于方案1。

不推荐的方案 #

不要直接给Pod挂载独立公网IP：该方案需要开启集群公网访问能力，会直接将Pod暴露在公网攻击面下，不符合私有集群的安全要求。

内容的提问来源于stack exchange，提问作者Baskar Lingam Ramachandran