Erlang/Mnesia中如何按值高效获取记录？

嘿，这个问题确实戳中了用kvs时容易踩的性能坑——全表加载再过滤在数据量上去之后肯定会拖慢速度，我来分享几个实际项目里常用的优化方案：

1. 给查询字段建立二级索引（最优解） #

这是最直接的优化方式，把过滤逻辑从内存层面转移到数据库层面，避免全表扫描。kvs框架大多支持给表的特定字段建立索引，以mnesia后端为例：

建表时指定索引 #

如果还没创建表，在定义表结构时就给company_id加上索引：

kvs:new(company_coupon, [
    {attributes, record_info(fields, company_coupon)},
    {index, [company_id]}  %% 给company_id字段建立二级索引
]).

如果表已经存在，可以用kvs:add_index/3添加索引：

kvs:add_index(company_coupon, company_id).

使用索引查询代替全量获取 #

之后查询时直接用kvs:index/3接口，它会利用索引直接定位符合条件的记录：

Coupon = kvs:index(company_coupon, company_id, C#company.id).

这种方式不需要加载全表数据，性能会随数据量增长保持稳定。

2. 直接使用底层存储的查询API #

如果kvs的索引功能满足不了你的需求（比如复杂条件查询），可以直接调用底层存储的原生查询接口。比如用mnesia的话，可以写匹配规范（Match Spec）来做精准查询：

%% 生成匹配规范：只返回company_id匹配的记录
MatchSpec = ets:fun2ms(fun(P=#company_coupon{company_id=TargetId}) when TargetId =:= C#company.id -> P end),
%% 事务内执行查询
{atomic, Coupon} = mnesia:transaction(fun() -> mnesia:select(company_coupon, MatchSpec) end).

mnesia会在存储层面执行匹配，只返回符合条件的记录，比全量加载后过滤高效得多。

3. 重构数据存储结构（适合特定查询场景） #

如果你的查询模式非常固定（比如90%的查询都是按company_id找优惠券），可以考虑按company_id做数据分桶：

• 把某个公司的所有优惠券存储在一个单独的键下，比如{company_coupons, CompId}
• 写入时直接把优惠券追加到对应公司的集合里：

  %% 获取当前公司的优惠券列表
  {ok, CurrentCoupons} = kvs:get({company_coupons, C#company.id}),
  %% 追加新优惠券并保存
  NewCoupons = [NewCoupon | CurrentCoupons],
  kvs:put({company_coupons, C#company.id}, NewCoupons).
  

• 查询时直接获取该键的值即可，完全避免过滤操作：

  {ok, Coupon} = kvs:get({company_coupons, C#company.id}).
  

这个方案适合写入频率不高、查询模式单一的场景，能做到O(1)的查询效率，但需要额外维护分桶的数据一致性。

为什么原来的方案效率低？ #

你当前用的kvs:all/1会把整个company_coupon表的所有记录加载到内存中，再通过列表推导式过滤；lists:keyfind/3也是一样的逻辑——必须先拿到全量数据才能遍历查找。当表中数据达到数千甚至上万条时，内存占用和遍历时间都会急剧上升，性能会变得很差。

内容的提问来源于stack exchange，提问作者Jon Riel