如何为每个Hash Key获取对应最高Range Key的项目？

针对你的需求（获取每个Hash Key对应的最大Range Key条目），结合DynamoDB的特性和guregu/dynamo库，推荐以下几种方案，按性能和实用性排序：

1. 维护汇总表（最优方案） #

每次向主表写入新条目时，同步更新一张汇总表，专门存储每个id对应的最高version。这种方式能把查询成本降到最低，避免全表扫描或多次Query。

实现思路： #

• 汇总表结构：id作为Hash Key，latest_version作为属性存储对应最大版本号，也可同步存储主条目的其他必要属性。
• 写入主表时，用条件更新确保只有当新version大于汇总表中已有的值时才更新，避免无效写入。

guregu/dynamo代码示例： #

// 写入主表
err := d.table.Put(Item{ID: "test1", Version: 4}).Run()
if err != nil {
    // 处理错误
}

// 同步更新汇总表，条件：新version大于现有值，或条目不存在
err = d.summaryTable.Put(map[string]interface{}{
    "id":              "test1",
    "latest_version":  4,
    // 可选：同步主条目的其他属性
}).If("attribute_not_exists(latest_version) OR latest_version < :new_version", dynamo.Values{":new_version": 4}).Run()

查询时直接读取汇总表即可：

var latestItems []map[string]interface{}
err := d.summaryTable.Scan().All(&latestItems)

2. 先获取所有唯一Hash Key，再逐个Query（次优方案） #

如果不想维护额外表，可以先获取所有唯一的id，再对每个id执行Query，按version降序取第一条（即最大版本）。

优化点： #

• 为高效获取所有唯一id，建议创建全局二级索引（GSI）：
  • GSI的Hash Key设为固定值（比如"all_ids"），Range Key设为id，这样通过一次Query就能获取所有唯一id（Range Key会自动去重排序）。

guregu/dynamo代码示例： #

步骤1：获取所有唯一id

var ids []string
// 假设GSI名为"AllIdsIndex"，Hash Key是固定值"all_ids"
err := d.table.Query("AllIdsIndex").Hash("gsi_hash_key", "all_ids").Range("id", dynamo.NotEqual, "").Select("id").All(&ids)
if err != nil {
    // 处理错误
}

步骤2：逐个Query每个id的最大version条目

var results []map[string]interface{}
for _, id := range ids {
    var item map[string]interface{}
    // 按version降序查询，取第一条
    err := d.table.Get("id", id).Range("version", dynamo.GreaterThan, 0).Reverse(true).Limit(1).One(&item)
    if err != nil && err != dynamo.ErrNotFound {
        // 处理错误
        continue
    }
    if item != nil {
        results = append(results, item)
    }
}

3. 全表扫描后内存分组（仅适合小数据量） #

这是你当前的做法，仅当表中数据量很小（比如几千条以内）时适用。全表扫描会消耗大量读写容量单位（RCU/WCU），数据量大时性能极差。

优化后的内存分组代码： #

var results []map[string]interface{}
err := d.table.Scan().All(&results)
if err != nil {
    // 处理错误
}

// 内存中分组，保留每个id的最大version条目
latestMap := make(map[string]map[string]interface{})
for _, item := range results {
    id := item["id"].(string)
    version := item["version"].(float64) // 根据实际类型调整
    if existing, ok := latestMap[id]; !ok || existing["version"].(float64) < version {
        latestMap[id] = item
    }
}

// 转换为切片
var finalResults []map[string]interface{}
for _, item := range latestMap {
    finalResults = append(finalResults, item)
}

方案对比 #

内容的提问来源于stack exchange，提问作者levniko