AWS ECS Fargate任务出站流量节流问题排查求助

场景描述 #

我们开发的API应用部署为ECS Fargate任务（awsvpc网络模式），部署在含私有子网的VPC中，通过中转网关连接本地服务器：

• 少量调用时（数据交互量极小的POST请求），直接访问任务私有IP测试响应正常；
• 虚拟用户数增至260开展性能测试时，1分钟后任务向本地服务器的内部调用开始超时（正常调用仅需3秒，超时设置为1分钟）。

已排查情况 #

• 应用/容器日志出现超时错误，请求部分成功、部分因超时失败；
• 超时请求未到达本地服务器，本地服务器无性能问题；
• 应用CPU、内存使用率正常，扩容资源后问题仍存在；
• AWS及本地侧均无阻断流量的防火墙规则或策略；
• 扩容ECS服务任务数，测试请求通过负载均衡分发，问题仍持续。

疑问与配置信息 #

有文章提及Fargate任务存在出站TCP连接限制，但AWS官方文档未明确说明，不确定是应用配置、基础设施还是网络问题，同时怀疑是否存在应用编码问题。

安全组出站配置 #

egress {
    from_port   = 0
    to_port     = 0
    protocol    = "-1"
    cidr_blocks = ["0.0.0.0/0"]
  }

任务定义JSON（已脱敏） #

{
  "taskDefinitionArn": "arn",
  "containerDefinitions": [
      {
          "name": "name",
          "image": "...",
          "cpu": 8192,
          "memory": 32768,
          "portMappings": [
              {
                  "containerPort": 5004,
                  "hostPort": 5004,
                  "protocol": "tcp"
              }
          ],
          "essential": true,
          "environment": [
              ...
          ],
          "mountPoints": [],
          "volumesFrom": [],
          "secrets": [
             ...
          ],
          "logConfiguration": {
              "logDriver": "awslogs",
              "options": {
                  "awslogs-group": "/ecs/mygroup",
                  "awslogs-region": "us-west-2",
                  "awslogs-stream-prefix": "ecs"
              }
          },
          "systemControls": []
      }
  ],
  "family": "myfamily",
  "taskRoleArn": "arn",
  "executionRoleArn": "roleArn",
  "networkMode": "awsvpc",
  "revision": 231,
  "volumes": [],
  "status": "ACTIVE",
  "requiresAttributes": [
      {
          "name": "com.amazonaws.ecs.capability.logging-driver.awslogs"
      },
      {
          "name": "ecs.capability.execution-role-awslogs"
      },
      {
          "name": "com.amazonaws.ecs.capability.ecr-auth"
      },
      {
          "name": "com.amazonaws.ecs.capability.docker-remote-api.1.19"
      },
      {
          "name": "ecs.capability.secrets.asm.environment-variables"
      },
      {
          "name": "ecs.capability.increased-task-cpu-limit"
      },
      {
          "name": "com.amazonaws.ecs.capability.task-iam-role"
      },
      {
          "name": "ecs.capability.execution-role-ecr-pull"
      },
      {
          "name": "com.amazonaws.ecs.capability.docker-remote-api.1.18"
      },
      {
          "name": "ecs.capability.task-eni"
      }
  ],
  "placementConstraints": [],
  "compatibilities": [
      "EC2",
      "FARGATE"
  ],
  "requiresCompatibilities": [
      "FARGATE"
  ],
  "cpu": "8192",
  "memory": "32768",
  "registeredAt": "2024-08-22T18:30:57.544Z",
  "deregisteredAt": "2024-08-22T20:23:45.607Z",
  "registeredBy": "...",
  "tags": [
    ....
  ]
}

分析与解决建议 #

1. 优先排查TCP连接复用问题 #

高并发下如果应用未启用TCP连接池复用，会快速耗尽Fargate任务的出站临时端口资源（通常范围1024-65535）。260个虚拟用户若每个请求都新建连接，加上TIME_WAIT状态连接未及时回收，会导致端口耗尽，新请求无法建立连接从而超时：

• 检查应用HTTP客户端配置：是否启用连接池，最大连接数、空闲连接超时、连接复用策略是否合理；
• 进入任务容器执行ss -s或netstat命令，统计TIME_WAIT、ESTABLISHED状态的连接数，确认是否存在端口耗尽情况。

2. Fargate网络限制验证 #

虽然AWS官方文档未明确标注，但Fargate任务的ENI（弹性网络接口）存在出站并发连接限制，且与任务CPU/内存规格相关：

• 8vCPU/32GB规格的Fargate任务，ENI出站并发连接数上限通常在数千级别，短时间内大量新建连接+跨中转网关延迟，可能触发连接队列溢出；
• 通过CloudWatch监控Fargate任务的NetworkTxPackets、NetworkRxPackets，以及中转网关的ConnectionCount、ConnectionErrors指标，确认是否存在网络层面的连接限制。

3. 应用代码层面检查 #

• 确认HTTP客户端是否正确处理连接超时、读取超时，是否存在未释放的连接资源；
• 检查请求重试逻辑：超时后无限制重试会加剧端口耗尽问题；
• 验证是否开启TCP_NODELAY选项，减少小包传输延迟（适配数据量极小的POST请求）。

4. 中转网关配置优化 #

• 检查中转网关的TCP连接空闲超时配置：默认超时可能过短，导致正常连接被提前关闭；
• 确认中转网关的并发连接数配额是否足够，必要时申请调整。

内容的提问来源于stack exchange，提问作者leonsPAPA