DolphinDB分组分位数top函数报错及高效Top5%统计方案咨询

问题1：为何group by语句中无法识别top函数？ #

DolphinDB的top函数不属于聚合函数范畴，它是用于提取数据集前N条记录的普通函数，不能直接在group by的select子句中作为聚合逻辑使用。group by仅支持调用专门的聚合函数（如count、sum、avg、percentile等）来生成分组统计结果。

问题2：3000万行大表高效实现分组Top5%统计的方案 #

针对大表场景，推荐两种高效实现方式，优先选择单次扫描的方案以避免冗余计算：

方案一：用context by一次性完成筛选与统计（最优性能） #

通过context by实现分组内的行级排序与位次计算，仅需一次全表扫描即可完成筛选，再进行聚合统计：

// 1. 计算分组内的排序位次与分组大小
t_top = select *, 
    rowNo() as rn, 
    count(*) over (SecurityID) as group_size
from t 
context by SecurityID 
sort by TradeMoney desc

// 2. 筛选每组Top5%的记录（向上取整）
t_filtered = select * from t_top where rn <= ceil(group_size * 0.05)

// 3. 计算目标统计量
result = select 
    avg(TradeMoney) as mean_val,
    min(TradeMoney) as min_val,
    std(TradeMoney) as std_val
from t_filtered
group by SecurityID

性能优化建议：如果原始表未分区，可先按SecurityID创建哈希分区表，利用DolphinDB的分区并行计算能力进一步提速：

db = database("", HASH, [STRING, 100])
t_part = db.createPartitionedTable(t, `t_part, `SecurityID)

后续基于分区表执行上述逻辑即可。

方案二：用percentile计算阈值后筛选（兼容原思路） #

替换top为聚合函数percentile，先计算每组Top5%的阈值（即95分位数），再关联筛选并统计：

// 1. 计算每组Top5%的阈值（95分位数为Top5%的最小值下限）
thresholds = select 
    SecurityID,
    percentile(TradeMoney, 95) as threshold
from t
group by SecurityID

// 2. 关联阈值并筛选，计算统计量
result = select 
    avg(TradeMoney) as mean_val,
    min(TradeMoney) as min_val,
    std(TradeMoney) as std_val
from lj(t, thresholds, `SecurityID)
where TradeMoney >= threshold
group by SecurityID

此方案需两次扫描表，但逻辑更贴近你最初的思路。

内容的提问来源于stack exchange，提问作者Dongyun Huang