DynamoDB嵌套数组分页实现及表结构优化咨询

问题描述 #

现有DynamoDB单表Topic，表项结构如下：

{
    "topicId": "string",
    "topic": "string",
    "updatedTimeUTC": "number",
    "articles": [
        {
            "articleId": "string",
            "headline": "string",
            "updatedTimeUTC": "number"
        },
        {
            "articleId": "string",
            "headline": "string",
            "updatedTimeUTC": "number"
        }
    ],
    "articleCount": "number"
}

每个表项对应一个主题（topic），关联多篇文章（articles）。当前已实现按updatedTimeUTC排序分页获取topic（每页5条），但需要实现通过topicId获取单个topic时，对其articles数组进行分页，疑问是否需要拆分表来实现两级分页。

解决方案建议 #

方案一：不拆分表，应用层处理articles分页 #

适用于每个topic下articles数量较少（如几十条以内）的场景：

• 用GetItem API根据topicId获取完整的topic条目。
• 在应用代码中对articles数组进行分页：根据页码和每页大小，计算数组的起始和结束索引，截取对应片段返回。
• 优势：开发简单，无需修改表结构，维护成本低；
• 劣势：若articles数量过大（如上千条），每次读取都会加载整个数组，浪费读取吞吐量，且数据传输延迟高。

方案二：拆分表，单独存储articles #

适用于articles数量多、或未来有增长趋势、或需要对articles做复杂查询的场景：

表结构设计

1. Topic主表：保留核心字段，移除articles数组（可选择性保留3-5条最新articles做预览）：

   {
       "topicId": "string", // 主键
       "topic": "string",
       "updatedTimeUTC": "number",
       "articleCount": "number"
   }
   

2. Article子表：以topicId为分区键，updatedTimeUTC为排序键（方便按时间排序分页），字段如下：

   {
       "topicId": "string", // 分区键
       "updatedTimeUTC": "number", // 排序键
       "articleId": "string",
       "headline": "string"
   }
   

两级分页实现

• 第一级（topic分页）：保持原有逻辑，通过Query或Scan结合Limit和ExclusiveStartKey实现按updatedTimeUTC排序分页。
• 第二级（articles分页）：调用Query API，指定topicId作为分区键，设置Limit为每页大小，通过ExclusiveStartKey（上一页最后一条article的topicId+updatedTimeUTC）实现分页，同时可通过ScanIndexForward控制排序方向。

方案选择总结 #

• 若articles数量少、业务需求简单：优先选方案一，快速落地；
• 若articles数量多、或需要高性能分页/复杂查询：选方案二，优化读取性能，扩展更灵活。

内容的提问来源于stack exchange，提问作者Vishnu priya