单次EventsBridge触发引发AWS Lambda多次执行问题求助

问题背景 #

• 架构：通过EventsBridge的Cron规则每5分钟触发AWS Lambda，向BigQuery表和Google Sheets写入数据
• 异常现象：部分场景下Lambda被重复执行2-3次，导致同一批次数据重复写入；CloudWatch执行时间出现峰值时，BigQuery中对应出现重复数据集
• 关键日志：初始化阶段超时，日志记录为 INIT_REPORT Init Duration: 9995.80 ms Phase: init Status: timeout
• 核心矛盾：Lambda平台对初始化阶段有固定10秒超时限制，与函数整体6分钟的超时设置无关，这是触发重复执行的核心原因

核心代码片段 #

bq.writeToBigQueryTable('my-project', 'my-dataset', 'my-table', mydataframe) 

updateGoogleSheet("my-sheet-id",mylist) # 自定义调用Google Sheets API的函数

解决建议 #

一、解决初始化超时的根本问题 #

必须将Lambda冷启动时的初始化耗时压缩至10秒内：

• 精简依赖：清理Python环境中不必要的库，使用轻量化替代方案；将常用依赖打包为Lambda层，减少每次冷启动的解压时间
• 启用预热机制：配置CloudWatch定时触发（如每分钟一次）维持容器存活，避免频繁冷启动；或使用Lambda Provisioned Concurrency预先生成运行容器
• 优化初始化逻辑：将非必要的初始化操作移至handler内部，仅在首次执行时完成；缓存BigQuery/Google Sheets的客户端实例，避免每次冷启动重复创建

二、实现幂等写入，兜底避免重复数据 #

即使初始化超时触发重试，也要确保数据不会重复写入：

• BigQuery层面：给表添加唯一键（如批次时间戳+Lambda请求ID），写入时使用MERGE语句替代直接插入；或在写入前校验该批次数据是否已存在
• Google Sheets层面：在写入数据中加入唯一批次标识，更新前先查询工作表中是否已有该批次记录，避免重复写入
• 触发规则优化：给EventsBridge调度规则配置死信队列（DLQ），将执行失败的事件转发至SQS，避免无限制重试；调整重试策略，减少不必要的重试次数

三、拆分执行逻辑，降低初始化压力 #

将初始化与数据写入逻辑拆分，减少单Lambda的初始化负载：

• 使用Step Functions编排工作流，将初始化、数据准备、写入拆分为独立步骤，确保每个步骤仅执行一次
• 拆分两个Lambda：一个负责数据准备（含初始化），另一个负责数据写入，通过SQS触发写入操作，避免因初始化超时导致的重复触发

内容的提问来源于stack exchange，提问作者dbeings