Node.js使用scan统计DynamoDB元素时大数据量下计数异常问题

• DynamoDB的Scan接口单次请求最多返回1MB大小的结果，超过阈值后会自动分页，仅返回第一页数据，同时响应体中会返回LastEvaluatedKey字段作为后续分页扫描的起始标记。你的当前代码仅发起了单次Scan请求，当表数据总大小超过1MB时，单次扫描仅覆盖了部分数据。
• FilterExpression是在扫描完对应页的所有数据后才执行过滤逻辑，而非提前筛选目标数据。如果第一页扫描结果中没有符合sync=false和billing=指定值的条目，单次请求返回的Count就会为0，这就是数据量少时正常、数据量增大后计数异常的核心原因。

你需要循环执行分页扫描，直到LastEvaluatedKey为空，累加每一页返回的符合条件的Count值即可，修改后的代码示例如下：

var dynamodb = new AWS.DynamoDB({apiVersion: '2012-08-10'});
async function getCountNoSync(type){
    console.log(type)
    var params = {
        TableName: tableName,
        FilterExpression: 'sync = :sync and billing = :billing',
        ExpressionAttributeValues: {
            ':billing' : {S: type},
            ':sync' : {BOOL: false}
        },
    };
    
    var count = 0;
    try {
        let scanResult;
        do {
            scanResult = await dynamodb.scan(params).promise();
            count += scanResult.Count;
            // 标记下一次扫描的起始位置
            params.ExclusiveStartKey = scanResult.LastEvaluatedKey;
        } while (scanResult.LastEvaluatedKey);
    } catch (err) {
        count = 0;
        console.log(err);
    }
    return count;
}

• 如果该计数接口调用频率较高，不建议每次都全表扫描，会消耗大量读容量、拖慢接口响应速度。你可以新增GSI（全局二级索引），将billing设为分区键、sync设为排序键，之后用Query接口直接查询符合条件的条目数，效率会高很多。
• 对于超大规模表的实时计数需求，你可以搭配DynamoDB Streams监听数据变更，实时更新独立的计数表，查询时直接读取计数表即可，避免每次扫描全表。

内容的提问来源于stack exchange，提问作者John