如何在Aerospike中高效按模式过滤百万级记录的键？

你的核心问题是全扫描百万级记录效率太低，要解决这个问题，必须利用Aerospike的二级索引机制，避免全表扫描。以下是具体实现步骤：

1. 改造数据结构 #

Aerospike的主键（key）仅用于生成哈希分区的digest，不会默认存储为记录的一部分，也无法直接对键的子串做模式匹配查询。因此你需要：

• 写入新数据时：将键拆分后的lastname、firstname、state、zip作为独立的bin（字段）写入记录。比如键为smith/john/fl/32817的记录，要额外写入四个bin：lastname="smith"、firstname="john"、state="fl"、zip="32817"。
• 处理存量数据：编写批量程序全扫描一次所有记录，拆分每条记录的键，补充上述四个bin。这是一次性的操作，后续新数据无需重复处理。

2. 创建二级索引 #

针对你需要查询的字段（firstname和zip）创建字符串类型的二级索引，用于快速定位匹配记录：
使用AQL命令创建索引：

CREATE INDEX idx_firstname ON your_namespace.your_set (firstname) STRING
CREATE INDEX idx_zip ON your_namespace.your_set (zip) STRING

注意：替换your_namespace和your_set为实际的命名空间和集合名称。

3. 执行高效查询 #

通过Aerospike的Query API，结合两个等值过滤器，直接获取匹配firstname="chris"且zip="45125"的记录，无需全扫描。以下是不同客户端的示例：

Java客户端示例 #

import com.aerospike.client.AerospikeClient;
import com.aerospike.client.Statement;
import com.aerospike.client.filter.Filter;
import com.aerospike.client.RecordSet;

public class QueryExample {
    public static void main(String[] args) {
        AerospikeClient client = new AerospikeClient("your_host", 3000);
        try {
            Statement stmt = new Statement();
            stmt.setNamespace("your_namespace");
            stmt.setSetName("your_set");
            // 添加过滤条件：firstname等于chris，zip等于45125
            stmt.setFilters(
                Filter.equal("firstname", "chris"),
                Filter.equal("zip", "45125")
            );
            RecordSet rs = client.query(null, stmt);
            while (rs.next()) {
                // 对每条匹配的记录执行你的操作
                System.out.println("Record key: " + rs.getKey().toString());
            }
        } finally {
            client.close();
        }
    }
}

Python客户端示例 #

import aerospike

config = {'hosts': [('your_host', 3000)]}
client = aerospike.client(config).connect()

try:
    namespace = 'your_namespace'
    set_name = 'your_set'
    # 定义过滤条件
    query = client.query(namespace, set_name)
    query.where(aerospike.filter.equal('firstname', 'chris'))
    query.where(aerospike.filter.equal('zip', '45125'))
    
    # 执行查询并处理结果
    for record in query.results():
        key, metadata, bins = record
        print(f"Matched key: {key}")
        # 执行你的业务操作
finally:
    client.close()

关键说明 #

• 二级索引是分布式存储的，每个节点维护自己负责分区的索引数据，查询时会并行遍历所有节点的索引，性能远优于全扫描。
• 如果后续有其他模式查询需求（比如*/john/fl/*），只需针对对应的字段（如firstname和state）创建索引，重复上述查询逻辑即可。

内容的提问来源于stack exchange，提问作者unknown