如何使用boto按日期排序查询DynamoDB全表有序条目

不存在你要的「不指定分区键条件、直接query返回全表按排序键有序结果」的写法，这是DynamoDB的底层存储逻辑决定的，不是API用法的问题。

• DynamoDB的queryAPI强制要求传入分区键的精确匹配条件，不支持分区键的通配匹配，所有query请求只会命中单个分区键对应的数据分片，只有同分片内的返回结果会按照排序键自动排序。
• 你的表以ID为分区键、Date为排序键，意味着Date的排序规则仅在同一个ID对应的分片内生效。不同ID的数据存在不同物理节点上，原生没有全局按Date排序的索引结构，自然不可能靠单次query直接拿到全表有序结果。
• scanAPI是逐分片遍历全表，返回结果只保证当前分片内的顺序，不做全局排序，所以返回顺序不可控。

方案1：创建全局二级索引（GSI，生产环境推荐） #

这是性能最高、最符合DynamoDB使用规范的方案：

• 给表新增一个固定值字段（比如命名为PartitionConstant，所有条目写入时这个字段统一填固定值"ALL_RECORDS"）
• 创建全局二级索引，把PartitionConstant设为索引的分区键，Date设为索引的排序键
• 查询时直接请求这个GSI，即可拿到全表按Date排序的结果，还可以通过ScanIndexForward参数控制排序方向：

from boto3.dynamodb.conditions import Key

# ScanIndexForward=True为Date正序（从早到晚），False为倒序（从晚到早）
response = table.query(
    IndexName="你创建的GSI名称",
    KeyConditionExpression=Key("PartitionConstant").eq("ALL_RECORDS"),
    ScanIndexForward=False
)

• 注意事项：如果单表数据量超过10GB，不要所有条目都用同一个固定分区值，会出现热分区问题。可以按时间粒度拆分分区值（比如按月给PartitionConstant赋值"2024-05"、"2024-06"这类），查询时按需要的时间范围查询对应分区，再合并结果即可。

方案2：全表扫描后内存排序（小数据量场景适用） #

如果表总数据量在万条以内，不需要改表结构，直接scan拉全量数据后在业务代码里排序即可，记得处理scan的分页逻辑：

import boto3
table = boto3.resource("dynamodb").Table("你的表名")

all_items = []
resp = table.scan()
all_items.extend(resp["Items"])
# 处理分页
while "LastEvaluatedKey" in resp:
    resp = table.scan(ExclusiveStartKey=resp["LastEvaluatedKey"])
    all_items.extend(resp["Items"])

# 按Date字段排序，reverse=True为倒序
sorted_items = sorted(all_items, key=lambda item: item["Date"], reverse=True)

方案3：多分区query后归并（不推荐） #

如果你能枚举所有的ID值，可以逐个ID调用query拿到每个ID下按Date排序的结果集，再通过归并排序算法合并为全局有序列表。但这个方案会产生大量query请求，ID数量多的时候性能极差，仅适合ID数量极少的特殊场景。

内容的提问来源于stack exchange，提问作者RAH