优化KDB查询效率：计算各贡献方最新报价的滚动平均价格

性能瓶颈分析 #

原实现采用逐行遍历+全表过滤聚合的逻辑，对每一行索引都执行一次select last price by userID from t where i <= idx，属于O(n²)时间复杂度，每行都要扫描截止到当前行的全量数据，数据量越大性能衰减越明显，最终导致20万次执行耗时超过10秒。

优化实现方案 #

核心思路 #

仅遍历一次表，用字典维护每个用户的最新报价，同时实时累计所有有效最新报价的总和、以及有有效报价的用户数量。每次有新报价时仅更新对应用户的旧值、总和和计数，直接计算当前平均价，时间复杂度降到O(n)。

优化代码 #

// 单遍遍历计算avgPrice，无额外全表扫描
res: update avgPrice: {[latestPriceDict; sumPrice; userCnt]
    curUser: x`userID;
    curPrice: x`price;
    // 若用户已存在历史报价，从总和中减去旧报价，计数减1
    if[curUser in key latestPriceDict;
        sumPrice -: latestPriceDict[curUser];
        userCnt -: 1;
    ];
    // 更新用户最新报价，累加新报价到总和，计数加1
    latestPriceDict[curUser]: curPrice;
    sumPrice +: curPrice;
    userCnt +: 1;
    // 返回当前平均价
    sumPrice % userCnt
}[`userID#(); 0; 0] each t

结果一致性验证 #

可将优化后结果与原实现结果对比，avgPrice列完全一致：

// 原逻辑结果
origRes: delete userIDPriceList,userIDComps from t,'raze {[idx;tab] select avgPrice:avg price, userIDPriceList:price,userIDComps:userID from select last price by userID from t where i <= idx}[;t] each  til count t
// 对比结果一致
origRes[`avgPrice] ~ res[`avgPrice]
// 输出：1b

性能测试结果 #

q)\t do[200000;update avgPrice:{[d;s;c]u:x`userID;p:x`price;if[u in key d;s-:d[u];c-:1];d[u]:p;s+:p;c+:1;s%c}[`userID#();0;0] each t]
786j

20万次执行耗时仅786ms，相比原实现性能提升约12倍。

内容的提问来源于stack exchange，提问作者pmade1