DynamoDB批量扫描时更新分区键，LastEvaluatedKey是否有效？

核心结论 #

LastEvaluatedKey在你这种删除旧记录、添加新记录的场景下依然能正常工作，但需要注意几个关键细节，避免出现扫描无法终止的情况。

具体分析 #

• LastEvaluatedKey的工作逻辑：它本质是标记当前扫描到的最后一条记录的位置（基于分区键和排序键的组合，无排序键则仅分区键），下一次扫描会从这个位置继续往后读取。新添加的记录不会干扰原有扫描的终止逻辑——因为新记录的分区键是更新后的，大概率和旧分区键不在同一扫描序列里；就算有重叠，LastEvaluatedKey只会追踪当前扫描批次的终点，不会回头处理新插入的记录。
• 避免循环扫描的注意事项：
  • 不要在扫描过程中修改当前批次内记录的分区键后，又将其插回原分区键范围，这会导致这条记录被再次扫描到，形成循环。确保新记录的分区键完全脱离旧扫描范围，或者处理完一个批次后严格基于LastEvaluatedKey推进，不要重置扫描起点。
  • 保持默认的ScanIndexForward=true配置，固定扫描顺序，确保每次都能稳步推进到表的末尾。
  • 若需要将新插入的记录纳入更新范围，可以在第一轮扫描完成后，单独针对新记录的时间范围（比如新增create_time属性）做定向扫描，避免全表重复扫描。
• 批量操作的最佳实践：
  • 使用BatchWriteItem批量删除旧记录和插入新记录，减少API调用次数，提升效率。
  • 根据自身内存情况设置合理的Limit值（比如100-1000条），避免单次扫描数据量过大。
  • 处理过程中记录已处理的分区键范围，或维护一个进度表，防止意外中断后需要从头扫描。

内容的提问来源于stack exchange，提问作者Kareemulla Sk Shaikh