DynamoDB全量哈希键获取及分页方案：含Spring Data场景

嘿，刚好我之前处理过类似的批量获取DynamoDB哈希键的需求，来给你一步步拆解这些问题：

一、用Spring Data DynamoDB的CrudRepository获取所有ProductId #

Spring Data DynamoDB的CrudRepository本身没有直接的“获取所有哈希键”方法，但你可以通过自定义Repository方法，结合@Scan注解来实现，核心是只投影需要的productId字段，避免扫描全量数据浪费资源。

首先，定义你的Repository接口，继承CrudRepository，然后添加自定义扫描方法：

import org.springframework.data.repository.CrudRepository;
import org.springframework.data.dynamodb.repository.Scan;
import java.util.List;

public interface ProductRepository extends CrudRepository<Product, String> {

    // 只投影productId字段，减少数据传输
    @Scan(projectionExpression = "productId")
    List<String> findAllProductIds();
}

这里的Product是你的实体类，要确保productId字段被正确映射为哈希键（比如用@Id或者@DynamoDBHashKey注解）。

不过要注意：如果表数据量很大（比如你的100k条），直接调用这个方法可能会触发DynamoDB的分页限制，单次扫描最多返回1MB数据，所以需要结合分页处理，后面会详细讲。

二、有没有比Scan更优的ProductId获取方式？ #

首先明确：如果你的productId是哈希键（分区键），且没有额外的索引或存储同步机制，那么Scan是唯一能获取所有哈希键的方式——因为DynamoDB的哈希键是分布式存储在不同分区的，没有全局遍历分区键的原生API。

但我们可以优化Scan的效率：

• 投影表达式优化：像上面那样只指定productId，避免返回其他字段，大幅减少IO和带宽消耗。
• 并行扫描：将扫描任务分成多个段（Segment）并行执行，适合大表。比如设置totalSegments=10，同时启动10个扫描任务，每个任务处理1/10的分区，能显著提升速度。
• 关闭强一致性：设置consistentRead=false（默认就是false），用最终一致性读取，加快响应速度。

如果你的业务场景允许，可以考虑提前将productId同步到其他存储（比如Redis集合、RDB的单独表），后续直接从这些存储读取，这会比每次Scan更高效，但需要维护同步机制（比如用DynamoDB Streams触发同步）。

三、100k条ProductId的分页方案及实现 #

DynamoDB的分页是基于LastEvaluatedKey的——每次扫描返回一批数据的同时，会返回这个标记，下一次扫描时传入这个标记，就能从下一个位置继续读取。Spring Data DynamoDB可以通过DynamoDBTemplate或者自定义Repository方法来实现分页循环。

方案1：用DynamoDBTemplate手动处理分页 #

这种方式更灵活，适合批量获取大量数据：

import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBMapper;
import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBScanExpression;
import com.amazonaws.services.dynamodbv2.model.AttributeValue;
import org.springframework.stereotype.Service;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

@Service
public class ProductService {

    private final DynamoDBMapper dynamoDBMapper;

    public ProductService(DynamoDBMapper dynamoDBMapper) {
        this.dynamoDBMapper = dynamoDBMapper;
    }

    public List<String> getAllProductIds() {
        List<String> allProductIds = new ArrayList<>();
        Map<String, AttributeValue> lastEvaluatedKey = null;

        do {
            DynamoDBScanExpression scanExpression = new DynamoDBScanExpression()
                    .withProjectionExpression("productId")
                    .withLimit(1000) // 每次取1000条，可根据实际调整
                    .withExclusiveStartKey(lastEvaluatedKey);

            // 扫描并只提取productId
            List<Product> pageResults = dynamoDBMapper.scan(Product.class, scanExpression);
            pageResults.forEach(product -> allProductIds.add(product.getProductId()));

            // 更新最后评估键，用于下一页
            lastEvaluatedKey = scanExpression.getExclusiveStartKey();
        } while (lastEvaluatedKey != null);

        return allProductIds;
    }
}

方案2：用Spring Data的Pageable结合自定义Repository #

Spring Data DynamoDB支持Pageable，但底层还是基于LastEvaluatedKey，你可以这样实现：

import org.springframework.data.domain.Page;
import org.springframework.data.domain.Pageable;
import org.springframework.data.repository.CrudRepository;
import org.springframework.data.dynamodb.repository.Scan;

public interface ProductRepository extends CrudRepository<Product, String> {

    @Scan(projectionExpression = "productId")
    Page<String> findAllProductIds(Pageable pageable);
}

然后在业务代码中循环分页获取：

import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageRequest;
import org.springframework.stereotype.Service;
import java.util.ArrayList;
import java.util.List;

@Service
public class ProductService {

    private final ProductRepository productRepository;

    public ProductService(ProductRepository productRepository) {
        this.productRepository = productRepository;
    }

    public List<String> getAllProductIds() {
        List<String> allProductIds = new ArrayList<>();
        int pageSize = 1000;
        int pageNumber = 0;

        while (true) {
            Page<String> page = productRepository.findAllProductIds(PageRequest.of(pageNumber, pageSize));
            allProductIds.addAll(page.getContent());

            if (!page.hasNext()) {
                break;
            }
            pageNumber++;
        }

        return allProductIds;
    }
}

注意事项 #

• 调整pageSize：DynamoDB单次扫描最多返回1MB数据，所以pageSize不要设置太大，比如1000条（如果每条只有productId，1000条远小于1MB）。
• 并行扫描优化：如果数据量很大（100k其实不算特别大，但想更快的话），可以用withTotalSegments和withSegment参数实现并行扫描，比如开5个线程分别扫描不同的段，然后合并结果。

内容的提问来源于stack exchange，提问作者amazing_milkha