基于第二列值拆分大文件的Shell脚本性能优化方案咨询

你的问题很典型：用shell循环逐行处理大文件时，因为频繁启动子进程（cut、echo）和反复打开/关闭文件，导致处理速度极慢。下面给你几个更高效的实现方法，尤其是用awk的方案，性能提升非常明显。

最优方案：使用awk命令 #

awk是专门为文本处理设计的工具，全程单进程运行，避免了shell循环的频繁系统调用，处理大文件的速度会快很多。

基础版本 #

直接按第二列值拆分，每行写入对应文件名的文件：

awk '{print > $2".txt"}' "$INPUT/file.txt"

• $2表示当前行的第二列内容，以此作为输出文件名
• print > $2".txt"会把整行内容追加到对应文件中

进阶版本（适配大量不同列值的场景） #

如果你的文件里第二列有非常多不同的值，可能会触发系统的打开文件数限制，这时候可以每次写完就关闭文件：

awk '{file = $2".txt"; print > file; close(file)}' "$INPUT/file.txt"

通过close(file)主动关闭文件，避免占用过多系统资源。

指定输出目录 #

如果要把拆分后的文件放到指定的$OUTPUT目录下，可以用-v参数把shell变量传递给awk：

awk -v outdir="$OUTPUT" '{file = outdir"/"$2".txt"; print > file; close(file)}' "$INPUT/file.txt"

为什么你的原脚本效率低？ #

你的原脚本：

while read LINE
do
    variable=`echo $LINE | cut -d " " -f 2`
    echo $LINE >> $OUTPUT/$variable.txt
done < $INPUT/file.txt

存在两个核心性能问题：

• 频繁启动子进程：每循环一次，就要启动echo和cut两个子进程，大文件几万几十万行的话，这个开销会非常大
• 反复打开关闭文件：每次追加内容都要打开目标文件、写入、关闭，相比awk批量处理的方式，IO操作的开销高很多

补充：其他可选方案 #

如果你的系统有csplit工具，也可以尝试，但它的规则相对复杂，不如awk灵活，一般还是优先推荐awk。

内容的提问来源于stack exchange，提问作者Maurício Silva