AWS DynamoDB Scan仅提取少量数据问题排查请求

问题原因 #

• 分页限制：DynamoDB Scan默认单次最多返回1MB数据或1000条记录，原命令未处理分页逻辑，仅获取了第一页数据。
• Filter Expression执行时机：Filter Expression是在全表扫描完成后再过滤结果，而非预先筛选。若表数据量较大，单次扫描的1MB数据中符合skey=HolidayDetails的记录可能很少，导致返回结果不足。
• 工具选择不当：如果skey是表的排序键，使用Scan而非Query是低效且易出问题的选择——Query可直接定位分区内的排序键数据，无需全表扫描，能精准获取所有匹配记录。

解决方案 #

方案1：改用Query命令（优先推荐，若skey为排序键） #

如果你的表使用复合主键（分区键+排序键，其中排序键为skey），直接用Query命令替代Scan，既能保证获取全部匹配记录，又提升效率：

aws dynamodb query \
--table-name testing-table \
--key-condition-expression "skey = :s" \
--expression-attribute-values '{":s": {"S": "HolidayDetails"}}' \
--query "Items[*]" \
--output text > store.txt

方案2：修复Scan命令的分页问题 #

若必须使用Scan（例如skey不是排序键），需开启CLI自动分页或手动处理分页逻辑：

方式A：使用CLI自动分页

添加--paginate参数让AWS CLI自动处理分页，获取全部符合条件的记录：

aws dynamodb scan \
--table-name testing-table \
--filter-expression "skey = :s" \
--expression-attribute-values '{":s": {"S": "HolidayDetails"}}' \
--query "Items[*]" \
--output text \
--paginate > store.txt

方式B：Shell脚本手动处理分页

如果自动分页不生效，可通过循环获取NextToken来迭代所有分页数据：

TOKEN=""
while true; do
    if [ -z "$TOKEN" ]; then
        aws dynamodb scan \
            --table-name testing-table \
            --filter-expression "skey = :s" \
            --expression-attribute-values '{":s": {"S": "HolidayDetails"}}' \
            --query "Items[*]" \
            --output text >> store.txt
    else
        aws dynamodb scan \
            --table-name testing-table \
            --filter-expression "skey = :s" \
            --expression-attribute-values '{":s": {"S": "HolidayDetails"}}' \
            --query "Items[*]" \
            --starting-token "$TOKEN" \
            --output text >> store.txt
    fi
    # 获取下一页的Token
    TOKEN=$(aws dynamodb scan \
        --table-name testing-table \
        --filter-expression "skey = :s" \
        --expression-attribute-values '{":s": {"S": "HolidayDetails"}}' \
        --query "NextToken" \
        --output text)
    # 没有下一页则退出循环
    if [ "$TOKEN" = "None" ]; then
        break
    fi
done

内容的提问来源于stack exchange，提问作者Bhargav