Lambda并发受限下，如何提升AWS Step Functions分布式Map吞吐量？

针对你的场景，有几个可靠的方案可以充分利用Lambda A的10并发上限，同时避免触发Lambda.TooManyRequestsException，提升整体吞吐量：

方案1：SQS FIFO队列+Lambda预留并发做精准流量控制 #

• 创建一个SQS FIFO队列，开启内容去重（如果任务是幂等的），设置合适的消息保留时间（比如7天）。
• 给Lambda A配置预留并发10，将该Lambda的触发源设置为上述SQS队列，批量大小设为1，最大并发数设为10。
• 修改父Step Function的分布式Map逻辑：不再直接触发子Step Function，而是将任务参数发送到SQS队列。
• 调整子Step Function流程：由Lambda A执行完成后，直接触发后续的B、C步骤（可通过Lambda调用Step Functions API，或在Lambda代码中集成后续逻辑）。
• 优势：SQS会缓存过量的任务请求，按Lambda A的处理能力匀速分发，确保A的并发始终稳定在10，父Map可将并发上限调至20甚至更高，充分利用A的全部并发能力，吞吐量可提升至接近理论峰值。

方案2：子Step Function内置并发控制+重试策略 #

• 在子Step Function的定义中，对包含Lambda A的步骤分支添加MaxConcurrency: 10配置（Step Functions原生支持单步骤/分支的并发限制），强制子流程中同时执行A的数量不超过10。
• 给Lambda A步骤配置重试策略：针对Lambda.TooManyRequestsException设置重试，搭配指数退避（比如初始间隔1秒，倍数2，最大间隔10秒，最大重试次数5），应对偶发的限流情况。
• 父Step Function可将分布式Map的并发上限调高（比如20），子流程会自动控制A的并发，不会超限额。
• 优势：无需额外组件，仅通过Step Functions配置即可实现，适合快速落地；缺点是重试可能增加部分任务的总耗时，适合对延迟不敏感的场景。

方案3：AWS Batch做任务调度层 #

• 创建一个AWS Batch作业队列，设置作业的最大并发运行数为10。
• 定义Batch作业：核心逻辑为执行Lambda A，完成后触发子Step Function的B、C步骤。
• 父Step Function的分布式Map直接向Batch队列提交任务，Batch会自动控制并发数，确保同时执行的A步骤不超过10。
• 优势：适合大规模、复杂任务调度场景（比如需要设置任务优先级、资源隔离）；缺点是配置相对复杂，成本略高于前两种方案。

通用注意事项 #

• 监控Lambda A的ConcurrentExecutions指标，确保实际并发稳定在10左右，验证方案效果。
• 所有涉及任务转发的场景（如SQS、Batch），确保任务是幂等的，避免重复执行导致数据异常。

内容的提问来源于stack exchange，提问作者Richard Wheeldon