为DynamoDB任务队列选择分区键与排序键的方案咨询

推荐方案 #

• 分区键（PK）：TaskQueue#<你的任务类型标识>
  比如TaskQueue#UserSync，把同类型任务归集到同一个分区，方便后续批量查询，避免任务分散导致读取效率低下。
• 排序键（SK）：<日期>#<毫秒时间戳>#<UUID>
  格式示例：2024-05-20#1716182400000#a1b2c3d4-5678-90ef-ghij-klmnopqrstuv
  • 日期用于快速定位当日任务；毫秒时间戳保证任务写入的先后顺序；UUID彻底杜绝重跑时的记录覆盖问题，哪怕同一毫秒写入多个任务也不会冲突。

方案解决的核心痛点 #

• 解决UUID方案的读取难题：第二个Lambda无需遍历随机ID，直接用Query操作，指定PK为任务类型标识、SK前缀为当日日期，就能按写入顺序拉取所有任务，完全适配队列的读取逻辑。
• 解决IndexName#RunDate的覆盖问题：SK包含唯一的时间戳+UUID，哪怕第一个Lambda隔数小时重跑，新写入的记录SK与旧记录完全不同，不会覆盖原有任务的状态，旧任务的执行进度完整保留。
• 解决递增编号的额外查询问题：无需提前读表判断重复，直接生成时间戳+UUID即可保证SK唯一，写入操作一步完成，省掉额外读操作、提升效率。

具体流程示例 #

写入任务（第一个Lambda） #

构造任务Item后直接调用PutItem：

{
  "PK": "TaskQueue#UserSync",
  "SK": "2024-05-20#1716182400000#a1b2c3d4-5678-90ef-ghij-klmnopqrstuv",
  "TaskParams": {"userId": 123, "action": "sync"}, // 从JSON读取的任务参数
  "Status": "PENDING",
  "CreatedAt": 1716182400000
}

读取执行任务（第二个Lambda） #

用Query拉取当日未处理任务：

• 核心参数配置：
  • KeyConditionExpression：PK = :pk AND begins_with(SK, :sk_prefix)
  • FilterExpression：Status = :pending
  • ExpressionAttributeValues：

    {
      ":pk": "TaskQueue#UserSync",
      ":sk_prefix": "2024-05-20#",
      ":pending": "PENDING"
    }
    

• 拿到任务后，先将Status更新为IN_PROGRESS（避免其他Lambda重复获取），执行完成后再修改为COMPLETED。

可选优化（无需额外服务） #

• 如果每日任务量较大（如上万条），可给PK添加分片后缀，比如TaskQueue#UserSync#0到TaskQueue#UserSync#9，写入时随机分配分片，避免单分区热点；读取时遍历所有分片即可。
• 若需跨日期查看未处理任务，可添加全局二级索引（GSI），以Status为PK、SK为SK，快速拉取所有状态为PENDING的任务。

内容的提问来源于stack exchange，提问作者ThirdEye