如何用仅输出排序结果的ardock程序筛选海量文件中的Top10？

问题背景 #

同事用Fortran程序ardock处理文件，这个程序接收文件参数后，会按生物物理化学标准输出排序后的文件路径（最优结果在前），需求是从所有文件里挑出Top10。

一开始因为文件太多，触发了bash: /home/progs/bin/ardock: Argument list too long错误，用6位长度的符号链接当参数暂时解决了，但文件数量再涨上去，这个方法也不管用。

本来想过分块排序再逐轮筛的思路，比如多层xargs嵌套调用ardock取前10，但xargs要嵌套几层没法提前确定，得改成循环实现才行。

注：程序输出是换行分隔的文件路径，文件名都是字母数字格式，不用考虑xargs的异常情况。

循环实现脚本 #

#!/bin/bash

# 封装调用ardock并取前10的逻辑
best10() {
    ardock "$@" | head -n 10
}
export -f best10

# 第一步：批量处理所有.dat文件，生成第一轮候选结果
candidates=$(find . -name '*.dat' -exec bash -c 'best10 "$@"' _ {} +)

# 循环迭代筛选，直到候选结果≤10个
while true; do
    # 统计当前候选结果的数量
    count=$(echo "$candidates" | wc -l)
    # 数量够少就退出循环
    if [ "$count" -le 10 ]; then
        break
    fi
    # 把当前候选文件再筛一遍Top10，更新候选集合
    candidates=$(echo "$candidates" | xargs bash -c 'best10 "$@"' _)
done

# 输出最终的Top10结果
echo "$candidates"

脚本说明 #

• 先用find配合-exec {} +把所有.dat文件分批传给ardock，每批都取前10，攒出第一轮的候选名单——这一步避免了参数过长的问题。
• 进入循环后，先数当前候选有多少个：如果已经≤10，直接结束；否则把这些候选文件再丢给ardock筛一遍前10，更新候选名单。
• 循环会自动迭代到结果数量符合要求，不用提前算要嵌套几层xargs，不管文件总量多大都能适配。

内容的提问来源于stack exchange，提问作者Fravadona