DynamoDB未完整接收SQS消息体 写入记录数波动异常
问题根因排查与修复方案
你之前尝试的替换FIFO队列、调整可见性超时、投递超时的操作,都是队列层面的参数调整,完全没有触达代码本身的逻辑bug,这也是你调整后依然没法稳定得到正确计数的原因,具体问题如下:
核心bug点
- 同批次消息大面积漏处理(导致记录数偏少)
你的代码仅提取event["Records"][0]对应的单条SQS消息做解析,而Lambda和SQS集成时,默认一次会往event里塞最多10条消息。代码完全跳过了同批次剩下的所有SQS消息,只要Lambda函数执行完没有抛出未捕获异常,SQS会默认把整个批次的所有消息都标记为成功消费、从队列删除。这部分被跳过的消息包含的所有记录完全不会进入DynamoDB写入流程,直接造成数据丢失,写入数自然不稳定偏少。 - 完全无幂等设计(导致记录数偏多)
你当前给每条DynamoDB记录生成的主键是处理时随机生成的uuid,没有和原始业务记录绑定。不管是uuid1还是uuid4,每次处理同一条原始消息的时候,都会生成全新的主键值。只要SQS因为超时、处理失败重投消息,同一条原始记录就会因为主键不一样,被当成全新数据写入DynamoDB,根本不会被之前的同条记录覆盖,直接造成重复写入,让最终计数超过预期。 - 低效写入逻辑触发执行超时(计数不稳定的放大器)
代码里嵌套循环每个字段加time.sleep(0.001)、单条逐次调用put_item的逻辑,执行效率极低。只要单条SQS消息里包含的记录数较多,很容易触发Lambda的执行超时阈值:- 超时发生时,已经走完写入流程的记录已经提交到DynamoDB
- 还没处理到的记录因为函数中断完全没写入
- SQS因为没收到成功处理的信号,会把整条消息重新投递给Lambda
- 重新投递的消息因为无幂等,又从头开始生成随机主键全量写一遍
这个过程每次触发的中断位置都不一样,最终的总写入数就会在“少-多-刚好”之间随机跳变。
- 无错误处理机制放大波动
代码没有对DynamoDB调用做异常捕获、退避重试,一旦碰到DynamoDB限流、临时网络抖动就直接抛出异常中断执行,同样会触发SQS重投流程,进一步放大计数波动。
对应修复步骤
- 修复批次处理逻辑:把仅取
Records[0]的代码改成遍历event内所有的Records,确保同批次收到的所有SQS消息都被处理,不会被无理由跳过删除。 - 实现幂等写入逻辑:取消处理时随机生成uuid当主键的逻辑,直接选取原始API返回记录里的全局唯一业务标识作为DynamoDB主键;如果没有现成业务主键,可以对固定排序后的原始记录内容做哈希生成固定id(比如用MD5对序列化后的原始记录生成字节值当主键),保证同一条原始记录不管被重复处理多少次,生成的主键完全一致,重复写入直接覆盖同一条数据,不会产生新行。
- 替换低效写入逻辑:去掉无意义的逐字段
sleep逻辑,改用DynamoDB的batch_writer批量写入,把单条调用的平均耗时降低90%以上,减少Lambda超时概率。 - 补充错误兜底逻辑:对DynamoDB写入操作增加临时错误的指数退避重试,碰到持续失败的消息直接投到死信队列,避免无限重投造成重复写入。
- 校验SQS集成配置:把Lambda和SQS集成的批次大小调整到匹配单函数处理能力的范围,避免一次拉取过多消息撑爆执行时长。
内容的提问来源于stack exchange,提问作者KoalaKey
相关产品推荐
相关产品推荐

