DynamoDB跨表分页难题：基于资源属性过滤时按实体计数分页

在实体（Entity）与资源（Resource）分表存储、需基于资源属性过滤并按实体计数分页的场景下，以下是几种可行的实现方案：

方案一：先过滤资源获取实体ID集合，再分页查实体 #

• 步骤：
  1. 为资源表创建全局二级索引（GSI），索引的分区键设为需要过滤的资源属性，排序键设为entity_id，仅保留必要字段以缩小索引体积。
  2. 调用资源表的Query接口，传入资源过滤条件，获取所有匹配的entity_id，通过Set去重得到唯一实体ID列表。
  3. 对ID列表做分页切割（如第1页取前10个ID），用BatchGetItem批量查询实体表获取对应数据。
  4. 针对每个实体，再次查询资源表获取其关联的符合过滤条件的资源。
• 优缺点：实现简单，但如果符合条件的实体数量极大，第一步获取全量ID会触发多次分页查询，仅适合数据量较小的场景。

方案二：基于资源表GSI逐步收集分页实体ID #

• 步骤：
  1. 为资源表创建GSI，分区键为资源过滤属性，排序键为entity_id，确保索引能高效过滤并按实体ID排序。
  2. 初始化空Set存储已收集的entity_id，记录分页起始标记（首次查询无标记，后续用最后一个收集到的entity_id作为标记）。
  3. 循环查询资源表GSI：从起始标记开始返回结果，将entity_id加入Set，直到Set中元素达到10个或无更多数据。
  4. 更新分页标记，用BatchGetItem查询实体表，再获取每个实体的匹配资源。
• 优缺点：无需提前获取全量ID，内存占用低，适合大数据量场景；但需处理循环中的去重逻辑，避免同一实体的多资源匹配导致重复计数。

方案三：预聚合表优化查询效率 #

• 步骤：
  1. 创建预聚合表，主键为entity_id，存储实体完整属性及该实体下符合常见过滤条件的资源列表（或关键属性）。
  2. 通过Lambda触发器或业务逻辑，在Entity/Resource增删改时同步更新预聚合表，保证数据一致性。
  3. 为预聚合表创建GSI，分区键设为常用资源过滤属性，排序键设为entity_id。
  4. 查询时直接在预聚合表GSI上按资源属性过滤，按entity_id分页（每页10条），直接返回实体+关联资源的组合数据。
• 优缺点：查询性能最优，无需多次跨表请求；但增加了写操作复杂度，需维护数据同步逻辑，适合读多写少、过滤模式固定的场景。

注意事项 #

• 所有资源过滤查询必须依赖GSI，避免全表扫描（Scan）导致的性能问题。
• 分页标记用entity_id作为连续查询依据，确保分页连续性，避免数据更新导致的重复或遗漏。
• 使用BatchGetItem时，控制单次请求实体数量不超过DynamoDB限制（默认100条），减少网络请求次数。

内容的提问来源于stack exchange，提问作者Gaurav Jeswani