并行调用AWS Lambda性能变慢原因及优化方案咨询

性能变慢的核心原因 #

1. Lambda并发扩容限制
   AWS Lambda默认账户级并发上限为1000，且扩容速率受限于「每秒新增并发数」（通常默认是500）。当你一次性发起1000个调用请求，Lambda无法瞬间启动所有实例，超出扩容速率的请求会进入排队状态，导致最后一批实例启动和执行的时间大幅延后。如果你的函数存在冷启动（比如首次运行或长时间未触发），每个实例的初始化时间会进一步拉长整体耗时。

2. AWS SDK连接池限制
   AWS SDK for JavaScript默认的HTTP连接池最大并发数有限（默认通常是10-50），当你发起1000个并行请求时，大部分请求会因等待可用连接而排队，这也是导致整体耗时增加的重要因素。

3. 冷启动累积开销
   如果myFunction未被预热，1000个实例的冷启动会产生累积的初始化开销——每个实例需要加载运行时、初始化依赖代码，批量冷启动时AWS的资源调度也需要额外时间，进一步拉长了执行周期。

可行的解决办法 #

• 调整SDK连接池配置
  修改Lambda客户端的HTTP Agent设置，提高最大并发连接数，避免请求因等待连接排队：

const AWS = require('aws-sdk');
const https = require('https');

const customAgent = new https.Agent({
  maxSockets: 1000, // 匹配并发调用数
  keepAlive: true // 启用连接复用，减少连接建立开销
});

const lambda = new AWS.Lambda({
  httpOptions: {
    agent: customAgent
  }
});

// 后续调用逻辑保持不变
await Promise.all(
  Array(1000)
    .fill(0)
    .map((_, i) => {
      if (i === 0) console.log("start lambda", i, new Date().getSeconds());
      if (i === 999) console.log("start lambda", i, new Date().getSeconds());
      return lambda
        .invoke({
          FunctionName: "myFunction",
          Payload: JSON.stringify(payload),
        })
        .promise()
        .then((x) => {
          if (i === 0) console.log("end lambda", i, new Date().getSeconds());
          if (i === 999) console.log("end lambda", i, new Date().getSeconds());
          return x;
        });
    })
);

• 提升Lambda并发配额
  如果默认的1000并发上限或扩容速率无法满足需求，可以通过AWS控制台或Support Case申请提升账户级并发配额；也可以为myFunction配置预留并发（Provisioned Concurrency），提前预热函数实例，彻底消除冷启动开销。

• 分批限流调用
  将1000个请求拆分为多批（比如每批200个），采用串行分批或带限流的并行调用，避免瞬间打满Lambda并发和SDK连接池：

const batchSize = 200;
const totalCalls = 1000;
const batches = Array.from({ length: Math.ceil(totalCalls / batchSize) }, (_, idx) => 
  Array(Math.min(batchSize, totalCalls - idx * batchSize)).fill(0).map((__, i) => idx * batchSize + i)
);

// 串行执行每一批
for (const batch of batches) {
  await Promise.all(
    batch.map(i => 
      lambda.invoke({
        FunctionName: "myFunction",
        Payload: JSON.stringify(payload),
      }).promise()
    )
  );
}

• 改用异步调用（非阻塞）
  如果业务场景允许，将调用方式改为异步（设置InvocationType: "Event"），客户端无需等待函数执行完成即可返回，大幅减少本地等待时间。需要注意异步调用的结果需要通过Lambda Destinations、SQS或SNS等方式接收：

return lambda.invoke({
  FunctionName: "myFunction",
  Payload: JSON.stringify(payload),
  InvocationType: "Event" // 异步调用
}).promise();

• 优化函数冷启动
  精简函数代码，使用更轻量的依赖，选择启动更快的运行时（比如Node.js 18+或Python 3.11），减少初始化阶段的耗时，降低冷启动对整体性能的影响。

内容的提问来源于stack exchange，提问作者Antonin Riche