DynamoDB时间窗口Scan返回Count为0的问题排查与解决

问题诊断 #

你的Scan命令返回Count=0但ScannedCount数值很大，说明过滤条件存在问题，核心原因可能是：

1. Filter Expression语法错误：命令中filter-expression里的"gis1_sk"被外层双引号包裹，shell解析时会导致属性名被截断或识别错误，DynamoDB无法正确匹配目标属性。
2. 测试数据匹配验证缺失：虽然你确认插入了测试数据，但需确保数据的pk确实以RATE#开头，且gis1_sk的时间戳严格落在2023-01-01 00:00:00.000到2023-06-14 00:00:00.000范围内。

修正方案 #

1. 修复Filter Expression语法 #

将属性名改用表达式属性名避免引号冲突，同时修正shell命令的引号转义问题：

time aws dynamodb scan \
    --table-name "dev-main-rating" \
    --filter-expression "begins_with(pk, :search_filter) and #sk BETWEEN :start_date AND :end_date" \
    --expression-attribute-names '{"#sk": "gis1_sk"}' \
    --expression-attribute-values '{":search_filter":{"S":"RATE#"},":start_date":{"S":"2023-01-01 00:00:00.000"},":end_date":{"S":"2023-06-14 00:00:00.000"}}' \
    --select 'COUNT'

这里用#sk作为属性名占位符，通过--expression-attribute-names映射到实际的gis1_sk属性，彻底避免shell解析引号的问题。

2. 验证测试数据正确性 #

先通过get-item或query确认测试数据的属性值是否符合条件，例如：

aws dynamodb get-item \
    --table-name "dev-main-rating" \
    --key '{"pk": {"S": "RATE#你的测试数据PK值"}, "gis1_sk": {"S": "你的测试数据时间戳"}}'

检查返回结果中的pk和gis1_sk是否与过滤条件完全匹配。

3. 优化：用Query替代Scan（推荐） #

如果pk是分区键，gis1_sk是排序键，优先使用Query而非Scan，Query只扫描指定分区键的项，性能远高于Scan，且无需全表扫描：

time aws dynamodb query \
    --table-name "dev-main-rating" \
    --key-condition-expression "pk = :pk_val AND #sk BETWEEN :start_date AND :end_date" \
    --expression-attribute-names '{"#sk": "gis1_sk"}' \
    --expression-attribute-values '{":pk_val":{"S":"RATE#"},":start_date":{"S":"2023-01-01 00:00:00.000"},":end_date":{"S":"2023-06-14 00:00:00.000"}}' \
    --select 'COUNT'

注意：Query的key-condition-expression要求排序键的范围查询必须和分区键的精确匹配结合，这比Scan的Filter Expression效率高得多，还能减少读写容量消耗。

内容的提问来源于stack exchange，提问作者AlexLordThorsen