在Rust中使用AWS SDK根据非Partition/Sort Key值批量删除DynamoDB条目

DynamoDB的BatchWriteItem接口必须依赖主键（partition key + sort key）执行删除操作，所以要删除非主键字段匹配的条目，核心思路是先获取所有符合条件的条目主键，再批量执行删除。以下是具体实现方案：

实现步骤 #

1. 获取目标条目主键 #

根据表的规模和索引配置，选择两种方式：

• 全局二级索引（GSI）查询：如果表已在age字段上创建GSI，用Query操作（比Scan高效）直接匹配age=10并获取主键。
• 全表扫描（Scan）：无GSI时，用Scan配合FilterExpression过滤age=10的条目，同时通过ProjectionExpression只返回id和namespace，减少数据传输量。

2. 批量删除条目 #

将收集到的主键按每批最多25个分组，调用BatchWriteItem接口执行删除。若返回UnprocessedItems，需重试处理未完成的操作。

Rust代码示例 #

首先确保Cargo.toml包含依赖：

[dependencies]
aws-sdk-dynamodb = "0.20"
aws-config = "0.20"
tokio = { version = "1.0", features = ["full"] }

实现代码：

use aws_config::load_from_env;
use aws_sdk_dynamodb::{
    model::{AttributeValue, BatchWriteItemInput, DeleteRequest, WriteRequest},
    Client,
};
use std::collections::HashMap;

#[tokio::main]
async fn main() -> Result<(), aws_sdk_dynamodb::Error> {
    // 初始化DynamoDB客户端
    let config = load_from_env().await;
    let client = Client::new(&config);
    let table_name = "your-table-name"; // 替换为你的表名

    // 步骤1：扫描获取所有age=10的条目主键
    let mut primary_keys = Vec::new();
    let mut last_evaluated_key: Option<HashMap<String, AttributeValue>> = None;

    loop {
        let scan_request = client
            .scan()
            .table_name(table_name)
            .filter_expression("age = :age_val")
            .expression_attribute_values(":age_val", AttributeValue::N("10".to_string()))
            .projection_expression("id, namespace") // 仅返回主键字段
            .set_exclusive_start_key(last_evaluated_key.take());

        let scan_response = scan_request.send().await?;

        // 收集主键
        for item in scan_response.items.unwrap_or_default() {
            let id = item.get("id").cloned().expect("id字段缺失");
            let namespace = item.get("namespace").cloned().expect("namespace字段缺失");
            primary_keys.push((id, namespace));
        }

        // 处理分页
        last_evaluated_key = scan_response.last_evaluated_key;
        if last_evaluated_key.is_none() {
            break;
        }
    }

    // 步骤2：分批次批量删除（每批最多25条）
    for chunk in primary_keys.chunks(25) {
        let mut write_requests = Vec::new();

        for (id, namespace) in chunk {
            let mut key = HashMap::new();
            key.insert("id".to_string(), id.clone());
            key.insert("namespace".to_string(), namespace.clone());

            let delete_request = DeleteRequest::builder().set_key(Some(key)).build();
            let write_request = WriteRequest::builder().delete_request(delete_request).build();
            write_requests.push(write_request);
        }

        let batch_request = BatchWriteItemInput::builder()
            .request_items(table_name, write_requests)
            .build();

        let mut batch_response = client.batch_write_item(batch_request).await?;

        // 重试未完成的操作
        while let Some(mut unprocessed) = batch_response.unprocessed_items.take() {
            if let Some(requests) = unprocessed.get_mut(table_name) {
                if requests.is_empty() {
                    break;
                }
                let retry_request = BatchWriteItemInput::builder()
                    .set_request_items(Some(unprocessed))
                    .build();
                batch_response = client.batch_write_item(retry_request).await?;
                unprocessed = batch_response.unprocessed_items.unwrap_or_default();
            }
        }
    }

    println!("成功删除所有age=10的条目");
    Ok(())
}

注意事项 #

• 性能优化：数据量大时，强烈建议在age字段创建GSI，将Scan替换为Query，避免全表扫描的性能损耗和成本增加。
• 分页处理：扫描/查询会返回分页结果，必须处理LastEvaluatedKey以获取所有符合条件的条目。
• 批量限制：BatchWriteItem每批最多处理25条，单批请求大小不能超过16MB。
• 重试逻辑：必须处理UnprocessedItems，DynamoDB可能因流量限制返回未完成操作，需重试直到全部处理完毕。

内容的提问来源于stack exchange，提问作者mnk802