Lambda函数无DynamoDB:Scan权限时获取全表数据的替代方案

方案1：利用Query操作遍历全表（需表有合理主键设计） #

如果你的DynamoDB表配有分区键+排序键，或者分区键取值是可枚举的（比如固定的类别标签），可以通过循环Query所有分区键值覆盖全表数据，同时处理分页：

• 核心逻辑：针对每个分区键值调用Query，用ExclusiveStartKey处理分页，直到返回结果中LastEvaluatedKey为空
• 权限要求：需dynamodb:Query权限（可向管理员申请，该权限比Scan更精细）
• AWS Wrangler实现示例：

import awswrangler as wr

def fetch_full_table_with_query(table_name, partition_key_name, partition_key_values):
    all_items = []
    for pk_val in partition_key_values:
        last_key = None
        while True:
            response = wr.dynamodb.query(
                table_name=table_name,
                key_condition_expression=f"{partition_key_name} = :val",
                expression_attribute_values={":val": pk_val},
                exclusive_start_key=last_key
            )
            all_items.extend(response)
            last_key = response.get("LastEvaluatedKey")
            if not last_key:
                break
    return all_items

注：若分区键是高基数类型（比如唯一用户ID），此方法不适用，因为无法枚举所有分区键值

方案2：通过DynamoDB导出到S3后读取 #

如果管理员允许，可申请dynamodb:ExportTableToS3权限，将全表数据导出到S3桶，再通过AWS Wrangler读取：

1. 触发DynamoDB表导出（控制台或API均可），导出格式推荐选Parquet或CSV
2. 用Wrangler读取S3中的导出文件：

import awswrangler as wr

# 读取Parquet格式的导出数据
df = wr.s3.read_parquet("s3://your-bucket/export-path/", dataset=True)
# 转为字典列表（匹配Scan返回格式）
all_items = df.to_dict("records")

此方法天然支持大规模数据，无需手动分页，Wrangler会自动处理S3分块文件

方案3：借助BatchGetItem批量读取（需提前获取全表主键） #

如果能通过其他合规途径（比如有权限的服务同步）拿到表中所有项的主键（分区键+排序键），可以用BatchGetItem批量读取，每次最多读取100项：

• 权限要求：dynamodb:BatchGetItem权限
• AWS Wrangler实现示例：

import awswrangler as wr
from itertools import islice

def batch_get_all_items(table_name, all_primary_keys):
    all_items = []
    batch_size = 100
    while True:
        batch = list(islice(all_primary_keys, batch_size))
        if not batch:
            break
        response = wr.dynamodb.batch_get_item(
            table_name=table_name,
            keys=batch
        )
        all_items.extend(response.get(table_name, []))
    return all_items

注：此方法的前提是你能获取到全表的主键集合，否则无法使用

额外建议 #

如果以上方案都不适用，最直接的方式是向管理员申请范围限制的Scan权限，比如仅允许对目标表执行Scan，或结合条件表达式的Scan，比完全开放权限更安全。

内容的提问来源于stack exchange，提问作者vineet singh