如何为需获取最新100条记录的DynamoDB表选择分区键？

针对你的需求——高效获取最新插入的100条记录，结合DynamoDB的查询特性，我推荐以下设计：

核心设计思路 #

因为你的主要查询场景是按插入时间倒序取前100条记录，我们需要让这个查询成为DynamoDB中性能最优的Query操作（而非全表扫描），所以需要结合分区键和排序键来实现。

具体键设计 #

• 分区键：使用一个固定常量值，比如ALL_ITEMS（或者你喜欢的任何统一标识，比如SAMPLE_COLLECTION）
• 排序键：使用CreatedDate（注意要存储为可排序的格式，推荐ISO 8601字符串如2024-05-20T14:30:00Z，或者毫秒级Unix时间戳数值）

为什么这么设计？ #

1. 高效查询：所有数据都落在同一个分区（DynamoDB会自动处理大分区的拆分，只要数据量不是极端大，单分区完全够用），此时你可以通过Query操作，指定分区键匹配固定值，然后按排序键CreatedDate降序排列，再用Limit(100)直接拿到最新的100条记录。这种操作的性能远优于全表扫描后再排序。
2. 避免全表扫描：如果用Itemid作为分区键（假设是随机值），要获取最新记录必须扫描整个表，然后在应用层排序，数据量一大就会变得非常慢，完全不适合生产环境。

对应的Python查询示例（boto3） #

import boto3
from boto3.dynamodb.conditions import Key

# 初始化DynamoDB资源
dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table('sample')

def fetch_latest_100_items():
    """获取最新插入的100条记录"""
    response = table.query(
        KeyConditionExpression=Key('PartitionKey').eq('ALL_ITEMS'),
        ScanIndexForward=False,  # 降序排序，最新的记录排在最前面
        Limit=100
    )
    return response.get('Items', [])

进阶考量（超大规模数据场景） #

如果你的表未来会增长到非常大的体量（比如单分区存储超过10GB），可以考虑按时间分片作为分区键，比如用日期字符串2024-05-20作为分区键，排序键依然是CreatedDate。这种情况下，查询最新100条时需要先查当天的分区，若结果不足100条，再依次查询前一天的分区，直到凑够100条。这种设计能更好地分散数据负载，但实现逻辑会稍微复杂一点。

内容的提问来源于stack exchange，提问作者codinglover