DynamoDB复合主键表多分区键查询及Scan操作优化咨询

你好！针对你遇到的这个场景——用项目ID做分区键，每个项目下有大量SK记录，现在要获取所有项目（也就是每个分区的第一条记录），且不想借助GSI——我可以直接给你一个明确的结论：DynamoDB的Scan和Query API本身并没有原生支持直接“跳过同一分区内其他SK”的操作。

为什么呢？因为Scan是全表遍历，会逐行读取每一条数据；而Query必须指定具体的分区键，只能查询单个分区内的SK，没办法跨多个分区同时只取每个分区的第一条记录。

不过，我们可以通过一些手动优化的技巧来实现类似需求，尽量降低Scan的开销：

• 分段扫描+去重+按需查询：

  1. 发起Scan时，通过ProjectionExpression只返回pk字段，这样能大幅减少每次扫描的数据传输量；
  2. 用一个集合（比如Python里的set）来记录已经收集到的项目ID，遍历Scan结果时跳过重复的ID；
  3. 当Scan返回LastEvaluatedKey时，用这个Key发起下一次Scan，重复步骤2；
  4. 拿到所有唯一的项目ID后，再针对每个ID发起一次Query，用Limit=1和ScanIndexForward=true（默认就是正序）来获取该分区的第一条记录。
     这个方法能减少不必要的数据读取，但缺点是需要多轮API调用，大表场景下还是会有一定的扫描成本。

• 写入时预处理元数据：
  如果你能控制数据写入逻辑，可以在每个项目第一次创建时，额外写入一条SK固定为特殊值（比如#PROJECT_INFO#）的记录，把项目的核心信息存在这条记录里。之后要查所有项目时，直接用Scan过滤出SK等于这个特殊值的记录就行——相当于在主表里模拟了GSI的效果，但需要注意写入时的幂等性，避免重复创建这条元数据记录。

最后还是忍不住提一句：虽然你假设不能用GSI，但它确实是解决这类跨分区查询最优雅高效的方案，专门用来覆盖主表主键无法支持的查询场景。如果后续架构有调整空间，GSI依然是首选方案。

备注：内容来源于stack exchange，提问作者Enrique Castro