Bash下百万行大文件分段提取并按指定长度拆分字符串的高效方案

我在Bash环境中有若干格式如下的文本文件：

>Position 1
ABCD
EFGH
IJKL
MNOP
QRST
UVWX
YZ
>Position 2
abcd
efgh
ijkl
mnop
qrst
uvwx
yz
>Position 3
...

（字母及大小写仅作示例）

需要提取每个以>Position开头的标题之间的字符段（如A-Z序列），并将其拆分为长度为n的字符串后写入文件。例如当n=10时，输出应为：

ABCDEFGHIJ
KLMNOPQRST
UVWXYZ
abcdefghij
klmnopqrst
uvwxyz

由于文件规模接近百万行，效率至关重要。我当前使用的方法效率较低，具体实现如下：

cat file.txt | while read line; do
    if [[ "$line" != '>'* ]]; then
        section="$section$line"
    else
        echo $section | fold -w 10 >> fragments.txt
        section=''
    fi
done

该方法会拼接每个字符段直到遇到新的标题行，再输出拆分后的内容，希望找到更高效的实现方案。

原方法低效的核心原因 #

1. Shell循环本身处理百万级行的性能极差，read命令逐行读取的开销累积明显。
2. 字符串拼接section="$section$line"在Shell中属于低效操作，长字符串的重复拼接会频繁触发内存重分配。
3. 每次遇到标题行都调用echo和fold两个外部命令，频繁创建子进程会大幅拖慢整体速度。

方法1：使用awk（推荐，单遍扫描，性能最优） #

awk是处理文本流的高效工具，可在一次文件扫描中完成字符段拼接、分割的全部操作，完全避免Shell循环和频繁外部命令调用的开销。

假设目标分割长度n=10，执行命令：

awk -v n=10 '
    /^>Position/ {
        if (buf != "") {
            for (i=1; i<=length(buf); i+=n) {
                print substr(buf, i, n)
            }
            buf = ""
        }
        next
    }
    { buf = buf $0 }
    END {
        if (buf != "") {
            for (i=1; i<=length(buf); i+=n) {
                print substr(buf, i, n)
            }
        }
    }' file.txt > fragments.txt

工作原理：

• 匹配到>Position开头的标题行时，先处理之前积累的字符缓冲区：按长度n逐段截取输出，随后清空缓冲区并跳过当前标题行。
• 非标题行直接追加到缓冲区，无额外开销。
• 文件读取结束后，处理最后一段未被标题行触发的剩余缓冲区内容。

方法2：结合awk+tr+fold（适合简化场景） #

如果字符段无特殊格式要求，也可以用awk先按标题分段输出无换行的字符块，再通过tr和fold完成分割：

awk '/^>Position/ {if (buf!="") {print buf; buf=""} next} {buf=buf $0} END {print buf}' file.txt | tr '\n' '\0' | xargs -0 -I {} echo {} | fold -w 10 > fragments.txt

注意：此方法本质是先将每个标题段合并为单行，再统一分割，性能略逊于纯awk实现，但代码相对简洁。

内容的提问来源于stack exchange，提问作者Amp