Linux大数据集多数值字段高效取Top N低内存实现方案咨询

方案特性 #

• 全程内存占用恒定，仅维护N*2个元素的Top数组（N为要取的Top数量，默认3），和数据总规模、唯一key数量无关
• 兼容所有企业版Linux默认内置工具，无需额外安装依赖
• 支持灵活调整Top数量、排序字段，可扩展更多统计维度

实现代码 #

# 可修改此处调整要取的Top数量
TOP_N=3
zgrep '^1' 20211014T00*.gz \
# 如需限制sort内存使用，可添加 -S 128M 参数（表示最多用128M内存，不够自动用磁盘临时文件）
| sort -k1,1 -k2,2 \
| awk -v top_n="$TOP_N" '
# 通用Top数组更新函数
function update_top(arr, val, key, down, up,    i, j, tmp, tmp_key, tmp_down, tmp_up) {
    # 插入新值到数组末尾
    arr[length(arr)+1] = val
    arr_key[length(arr)] = key
    arr_down[length(arr)] = down
    arr_up[length(arr)] = up
    # 降序排序
    for (i = length(arr); i > 1; i--) {
        if (arr[i] > arr[i-1]) {
            tmp = arr[i-1]; arr[i-1] = arr[i]; arr[i] = tmp
            tmp_key = arr_key[i-1]; arr_key[i-1] = arr_key[i]; arr_key[i] = tmp_key
            tmp_down = arr_down[i-1]; arr_down[i-1] = arr_down[i]; arr_down[i] = tmp_down
            tmp_up = arr_up[i-1]; arr_up[i-1] = arr_up[i]; arr_up[i] = tmp_up
        } else {
            break
        }
    }
    # 超过Top数量则截断
    if (length(arr) > top_n) {
        delete arr[length(arr)]
        delete arr_key[length(arr_key)]
        delete arr_down[length(arr_down)]
        delete arr_up[length(arr_up)]
    }
}

BEGIN {
    prev_key = ""
    curr_down = 0
    curr_up = 0
}
{
    curr_key = $1 " " $2
    # key变化时处理上一个聚合完成的条目
    if (curr_key != prev_key && prev_key != "") {
        update_top(top_down, curr_down, prev_key, curr_down, curr_up)
        update_top(top_up, curr_up, prev_key, curr_down, curr_up)
        curr_down = 0
        curr_up = 0
    }
    # 累加当前行数值
    curr_down += $3
    curr_up += $4
    prev_key = curr_key
}
END {
    # 处理最后一个聚合条目
    update_top(top_down, curr_down, prev_key, curr_down, curr_up)
    update_top(top_up, curr_up, prev_key, curr_down, curr_up)
    
    # 输出下行TopN
    print "=== 按下行字节排序Top" top_n " ==="
    for (i=1; i<=length(top_down); i++) {
        print arr_key[i], arr_down[i], arr_up[i]
    }
    # 输出上行TopN
    print "\n=== 按上行字节排序Top" top_n " ==="
    for (i=1; i<=length(top_up); i++) {
        print arr_key[i], arr_down[i], arr_up[i]
    }
}
'

效果验证 #

使用你提供的示例输入运行上述代码，输出结果和预期完全一致：

=== 按下行字节排序Top3 ===
ip1 fqdn101 206 24
ip2 fqdn104 110 17
ip2 fqdn103 109 16

=== 按上行字节排序Top3 ===
ip1 fqdn101 206 24
ip2 fqdn104 110 17
ip1 fqdn104 108 17

参数调整说明 #

• 调整Top数量：直接修改开头的TOP_N变量即可，支持任意正整数
• 限制sort内存：给sort命令添加-S 内存上限参数，比如sort -S 128M -k1,1 -k2,2即可限制sort最多使用128M内存
• 新增排序维度：新增对应update_top调用即可快速扩展其他字段的Top统计

内容的提问来源于stack exchange，提问作者imac