Golang DynamoDB并行扫描多段返回相同LastEvaluatedKey报错

• DynamoDB的并行扫描逻辑中，每个扫描段（Segment）的分页状态是完全独立的，任意Segment返回的LastEvaluatedKey只能用于同一个Segment的后续分页请求，跨Segment使用会直接触发参数校验错误。
• 你当前的代码存在全局共享的lastEvalKey变量，最先执行的Segment 0的扫描任务会先修改该全局变量的值，后续启动的其他Segment构造ScanInput时，直接使用了属于Segment 0的ExclusiveStartKey，因此触发报错。

核心原则是每个Segment独立维护自己的分页起始密钥，不要在多个goroutine之间共享分页状态变量，正确的实现逻辑如下：

• 在每个Segment对应的Scan函数内部声明私有的起始密钥变量，初始值设为nil
• 每个Segment循环执行扫描，每次请求后只更新自己私有的起始密钥，直到该Segment的LastEvaluatedKey为空，表示该段扫描完成

示例代码：

// 单个segment的扫描逻辑
func Scan(segment int64) {
    // 每个segment独立维护自己的分页key，不与其他segment共享
    var lastEvalKey map[string]*dynamodb.AttributeValue
    for {
        params := &dynamodb.ScanInput{
            TableName:         aws.String(tableName),
            ExclusiveStartKey: lastEvalKey,
            Segment:           aws.Int64(segment),
            TotalSegments:     aws.Int64(TOTAL_SEG),
        }
        resp, err := svc.Scan(params)
        if err != nil {
            log.Printf("段%d扫描失败: %v", segment, err)
            return
        }
        // 处理当前页返回的扫描数据
        handleScanResult(resp.Items)
        
        // 该段无后续数据，退出循环
        if resp.LastEvaluatedKey == nil {
            break
        }
        // 仅更新当前段自己的分页key
        lastEvalKey = resp.LastEvaluatedKey
    }
}

• 如果需要合并所有Segment的扫描结果，可以使用带缓冲的channel接收各段返回的数据，单独启动一个goroutine做统一合并处理，避免多goroutine写同一块内存出现数据竞争。
• 如果你的表开启了按需容量模式，并行扫描的段数不要设置过大，避免触发吞吐量超限错误。

内容的提问来源于stack exchange，提问作者anujprashar