获取DynamoDB每个分区键+排序键前缀的最新条目是否有更优实现方式？

基础优化（不改表结构，无额外成本） #

DynamoDB本身没有原生服务端GROUP BY分组聚合能力，你现有逻辑的核心优化点是利用排序键的排序能力，减少客户端计算量：

• 给query操作加ScanIndexForward=False参数，让返回结果按排序键倒序排列，同一个id#code前缀的条目，时间戳最大的最新条目会排在最前面
• 遍历结果时只要发现对应id#code前缀已经存过，直接跳过后续同前缀条目即可，无需比对时间戳
• 若提前知晓当日分区下的id#code总数量，遍历凑够对应数量后可直接终止查询（包括后续分页请求），无需拉取全分区数据，大幅降低RCU消耗

附优化后代码示例：

def query_latest_entries(region_id, date_key):
    pk_val = f"{region_id}#{date_key}"
    latest_map = {}
    result = []
    response = self.table.query(
        KeyConditionExpression=Key(self.table_key_name).eq(pk_val),
        ScanIndexForward=False
    )
    while True:
        for item in response["Items"]:
            # 拆分排序键取id+code前缀，可根据你的实际分隔规则调整拆分逻辑
            id_code_prefix = "#".join(item["s_id"].split("#")[:2])
            if id_code_prefix not in latest_map:
                latest_map[id_code_prefix] = item
                result.append(item)
        # 无后续分页直接终止循环
        if "LastEvaluatedKey" not in response:
            break
        # 可选优化：如果已知总共有N个id+code组合，len(latest_map) == N时直接break
        response = self.table.query(
            KeyConditionExpression=Key(self.table_key_name).eq(pk_val),
            ScanIndexForward=False,
            ExclusiveStartKey=response["LastEvaluatedKey"]
        )
    return result

中等规模场景优化（新建GSI，兼顾性能和改造成本） #

如果单分区数据量超过1万条、查询频率较高，可以新建全局二级索引（GSI）降低遍历计算量：

• 写入数据时新增两个独立属性：id_code（id和code的拼接值，比如XYZ#2.0）、timestamp（数值类型的时间戳）
• 新建GSI，分区键和原表一致用原分区键，排序键设置为id_code，Projection按需设置为需要返回的属性
• 查询GSI时，同一个id_code的条目会连续返回，配合倒序排序可以更快跳过重复条目，遍历效率提升30%以上

高查询QPS场景优化（写时预聚合，查询性能拉满） #

如果读请求量很大，建议采用写时预聚合方案，完全避免查询时的去重计算：

• 新增一张最新条目表，或在原表新增独立分区，主键设计为：分区键=原分区键#id_code，无需排序键
• 每次写入历史条目时，同步覆盖写入最新条目表对应主键的记录，自动覆盖旧版本
• 查询时直接扫描对应日期的最新条目分区即可，返回的所有数据就是去重后的最新结果，查询延迟最低

注意：不要用DynamoDB PartiQL的GROUP BY语法实现该需求，其本质是服务端扫描全分区后聚合，RCU消耗和性能比客户端拉取处理更差，没有实用价值。

内容的提问来源于stack exchange，提问作者CustardBun