千万级数据迁移至DynamoDB的Lambda并发处理方案咨询

问题1：30-40个文件接连到达时，如何确保足够Lambda实例处理？是否需配置足够RC？ #

• Lambda并发：Lambda默认区域并发限制是1000（可申请提额），30-40个文件的触发需求完全在默认范围内，无需额外调整Lambda并发就能启动足够实例处理。
• DynamoDB RC（读写容量）：RC和Lambda实例数量无直接关联，它是控制DynamoDB的读写吞吐量上限。如果所有Lambda实例的总写入请求速率超过配置的WCU（写容量单位），会触发ProvisionedThroughputExceededException，导致写入失败或重试。建议根据单Lambda实例的写入速率计算总WCU需求，比如单实例每秒写50条，40个实例就需要至少2000WCU；或者开启DynamoDB自动扩容，让容量随负载动态调整，避免限流。

问题2：若将RC设为20，文件数量超过20时会发生什么？ #

• 首先明确：RC是DynamoDB的吞吐量限制，和Lambda实例数量不绑定。当Lambda实例数量超过20时，所有实例的写入请求会争抢这20个WCU。
• 直接结果：大部分写入请求会被限流，Lambda会自动重试2次（默认配置），若重试失败，未处理的事件会进入死信队列（如果已配置）。最终会导致文件处理延迟大幅增加，甚至部分数据写入失败，需要后续从死信队列或重新触发处理。

问题3：确保所有文件处理完成的最佳实践是什么？并行处理是否为应对海量数据的最优选择？ #

确保全量处理完成的最佳实践 #

• 配置死信队列（DLQ）：将处理失败的文件事件存入SQS死信队列，后续可批量重试这些失败任务。
• 记录处理状态：在S3或独立的DynamoDB表中记录每个文件的状态（待处理/处理中/成功/失败），定期扫描未完成或失败的文件，触发重新处理。
• 监控告警：用CloudWatch监控Lambda失败次数、DynamoDB限流指标，异常时及时告警。
• 幂等性设计：保证Lambda处理逻辑幂等，比如用文件唯一标识作为DynamoDB主键，或记录已处理文件的哈希值，避免重复写入。

并行处理是否为最优选择？ #

• 并行处理是海量数据迁移的高效方案，能最大化利用资源、缩短迁移周期，但需注意以下几点：
  • 控制并发度：根据DynamoDB的吞吐量上限调整Lambda并发数，避免过度压垮数据库。
  • 分批写入：单个文件过大时，在Lambda内部拆分小批次，用BatchWriteItem API批量写入，提升效率同时减少请求次数。
  • 开启自动扩容：启用DynamoDB自动读写容量扩容，让数据库根据负载动态调整容量，适配Lambda的并行写入需求。

内容的提问来源于stack exchange，提问作者ani