如何用Boto3高效获取DynamoDB分区键及最新50条数据ID

要解决你用scan遍历全表效率低的问题，完全可以通过全局二级索引（GSI）+ query API实现低成本、高效的查询，核心思路是先通过GSI快速筛选出最新50条数据的ID，再按需查询详细信息。

前提准备：创建合适的GSI #

因为query只能针对索引（主索引或GSI）的分区键进行查询，要全局获取最新数据，需要创建一个覆盖全表的GSI：

• 索引名称：例如CreationDateIndex
• 分区键：设置一个全局统一的属性（比如global_partition，所有数据条目都设为固定值all），确保能通过这个键查询到全表数据
• 排序键：指定creation_file_date（类型为数字时间戳或可排序的字符串格式，如YYYY-MM-DDTHH:MM:SS），并设置索引为降序排序
• 投影类型：选择KEYS_ONLY，这样索引仅存储主表主键（ID）和GSI的键，最小化索引体积和查询成本

如果还没创建这个GSI，可通过Boto3执行以下代码（或直接在AWS控制台操作）：

import boto3

dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table('你的表名')

# 更新表添加GSI
table.update(
    AttributeDefinitions=[
        {'AttributeName': 'global_partition', 'AttributeType': 'S'},
        {'AttributeName': 'creation_file_date', 'AttributeType': 'N'}  # 时间戳用N，字符串格式用S
    ],
    GlobalSecondaryIndexUpdates=[
        {
            'Create': {
                'IndexName': 'CreationDateIndex',
                'KeySchema': [
                    {'AttributeName': 'global_partition', 'KeyType': 'HASH'},
                    {'AttributeName': 'creation_file_date', 'KeyType': 'RANGE'}
                ],
                'Projection': {'ProjectionType': 'KEYS_ONLY'},
                'ProvisionedThroughput': {'ReadCapacityUnits': 5, 'WriteCapacityUnits': 5}
            }
        }
    ]
)

注意：已有数据需要补充global_partition字段（值为all），否则无法被GSI索引到，可通过批量更新或写入新数据时自动添加。

用Query获取最新50条ID #

通过GSI执行query，直接获取按creation_file_date降序排列的前50条数据的ID：

import boto3

dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table('你的表名')

# 查询最新50条ID
response = table.query(
    IndexName='CreationDateIndex',
    KeyConditionExpression='global_partition = :gp',
    ExpressionAttributeValues={':gp': 'all'},
    ScanIndexForward=False,  # 倒序返回，最新数据在前
    Limit=50,
    ProjectionExpression='ID'  # 仅返回主表主键ID
)

latest_ids = [item['ID'] for item in response['Items']]

批量查询详细数据 #

拿到ID列表后，用batch_get_item批量查询主表的详细信息，可按需指定返回字段（避免不必要的大字段传输）：

# 批量获取详细数据
batch_response = dynamodb.batch_get_item(
    RequestItems={
        '你的表名': {
            'Keys': [{'ID': item_id} for item_id in latest_ids],
            # 按需指定需要的字段，比如只取必要信息+form_data
            'ProjectionExpression': 'ID, creation_file_date, form_data'
        }
    }
)

detailed_data = batch_response['Responses']['你的表名']

关键优势 #

• 成本低：GSI的KEYS_ONLY投影大幅减少数据读取量，query和batch_get_item的读容量消耗远低于全表scan
• 效率高：直接通过索引定位最新数据，无需遍历全表，响应速度提升显著

内容的提问来源于stack exchange，提问作者Utopion