EKS中Redis备份Cron Job导致AWS NAT Gateway高额成本问题排查

背景与配置 #

我们AWS账单中NAT Gateway数据传输费用异常偏高，经初步排查定位到是Redis备份Cron Job导致。相关配置如下：

• Redis：部署在可用区A的私有子网节点中
• 备份流程：通过同私有子网内的每小时Cron Job定期备份至S3

问题表现 #

每次触发Redis备份时，NAT Gateway的数据传输量大幅增加，随着数据库规模增长，备份相关成本持续攀升。

观察到的现象 #

1. NAT Gateway费用激增的同时，CreateVolume-Gp2、CreateVolume-Gp3、PublicIp IN、InterZone OUT及createSnapshot等操作成本也同步上升；
2. 分析Redis（IP：192.168.138.51）的流量交互，发现与可用区B的某ENI（IP：192.168.220.133）交互最频繁，但无法确定其归属，同时存在部分公网IP产生大量流量。

目标ENI详细信息 #

{
    "NetworkInterfaces": [
        {
            "Attachment": {
                "AttachTime": "2025-01-14T12:09:58+00:00",
                "AttachmentId": "eni-attach-013284cXXXXXX",
                "DeleteOnTermination": true,
                "DeviceIndex": 1,
                "NetworkCardIndex": 0,
                "InstanceOwnerId": "230607XXXXXX",
                "Status": "attached"
            },
            "AvailabilityZone": "us-east-1b",
            "Description": "Amazon EKS fg-cluster-XXXXXX",
            "Groups": [
                {
                    "GroupName": "k8s-traffic-fgekscluster002-XXXXXX",
                    "GroupId": "sg-07be3bb995XXXXXX"
                },
                {
                    "GroupName": "fg-eks-vpc-002-ControlPlaneSecurityGroup-XXXXXX",
                    "GroupId": "sg-0e1f4379aXXXXXX"
                },
                {
                    "GroupName": "eks-cluster-sg-fg-cluster-XXXXXX",
                    "GroupId": "sg-06b14fe6XXXXXX"
                },
                {
                    "GroupName": "eks-cluster-sg-fg-eks-cluster-XXXXXX",
                    "GroupId": "sg-0df640384cXXXXXX"
                }
            ],
            "InterfaceType": "interface",
            "Ipv6Addresses": [],
            "MacAddress": "02:0d:31:XXXXXX",
            "NetworkInterfaceId": "eni-0c28dd4d2XXXXXX",
            "OwnerId": "230607XXXXXX",
            "PrivateDnsName": "ip-192-168-220-133.ec2.internal",
            "PrivateIpAddress": "192.168.220.133",
            "PrivateIpAddresses": [
                {
                    "Primary": true,
                    "PrivateDnsName": "ip-192-168-220-133.ec2.internal",
                    "PrivateIpAddress": "192.168.220.133"
                }
            ],
            "RequesterId": "230607XXXXXX",
            "RequesterManaged": true,
            "SourceDestCheck": true,
            "Status": "in-use",
            "SubnetId": "subnet-0bc15c5f1dXXXXXX",
            "TagSet": [],
            "VpcId": "vpc-08e55cbc5XXXXXX"
        }
    ]
}

技术问题及解答 #

1. 该高额成本问题的根本原因可能是什么？ #

• 备份Cron Job未配置S3 VPC网关端点，导致备份流量通过NAT Gateway走公网传输，产生数据传输费用；
• 备份流程可能先将Redis数据导出到可用区B的存储卷（对应CreateVolume、createSnapshot操作），跨可用区的数据传输（InterZone OUT）产生额外费用；
• 若备份过程中涉及公网IP的交互（比如Cron Job通过公网访问Redis，或备份数据先流转到公网再存入S3），公网流量会叠加NAT Gateway的传输成本。

2. 如何细化查看NAT Gateway的计费明细？ #

• 进入AWS账单控制台，选择「成本探索器」，筛选服务为「NAT Gateway」，按「使用类型」拆分费用，可查看数据传输（跨区/公网）、小时使用费等明细；
• 配置「AWS Cost and Usage Report」，下载包含NAT Gateway的详细账单，可按流量类型、可用区、时间维度做深度分析；
• 在VPC控制台的NAT Gateway页面，查看「监控」指标，结合CloudWatch日志，将时间点的流量数据与账单明细交叉验证。

3. 是否可以区分AWS中的计费流量与免费流量？ #

• 可以。AWS免费流量包括：同一可用区内EC2实例间的私有IP流量、通过VPC端点访问S3/DynamoDB等AWS服务的流量、同一区域内同账户下的部分服务间流量；
• 计费流量包括：跨可用区的私有IP流量、通过NAT Gateway访问公网的流量、跨账户/跨区域的流量、公网入/出流量；
• 在成本探索器或Cost and Usage Report中，可通过「使用类型」字段明确区分，例如DataTransfer-Regional-Bytes-In/Out为免费项，DataTransfer-InterZone-Bytes「DataTransfer-PublicOut-Bytes」为计费项。

4. 如何确定可用区B中该ENI的归属？ #

• 执行AWS CLI命令：aws ec2 describe-network-interfaces --network-interface-ids eni-0c28dd4d2XXXXXX，返回结果中的Attachment.InstanceId字段会显示绑定的EC2实例ID；
• 在EC2控制台的「网络接口」页面，搜索该ENI ID，查看「已连接到」字段对应的实例或资源；
• 结合ENI描述中的「Amazon EKS fg-cluster-XXXXXX」，登录EKS控制台，查看集群内的Pod/节点，通过节点IP或Pod网络配置匹配该ENI的私有IP，确认是EKS集群内的节点或组件（如CNI插件相关资源）。

5. 公网IP是否可能是导致成本高企的原因？ #

• 是的。如果备份流程中存在公网IP的交互，公网出流量会触发NAT Gateway的公网传输费用；
• 另外，若公网入流量对应外部资源访问备份相关服务，也会产生公网入流量费用，叠加NAT Gateway的使用成本；
• 需结合VPC流量日志确认公网IP的交互方向，判断是否属于备份流程的一部分，进而针对性优化。

内容的提问来源于stack exchange，提问作者Rouaons Tousli