如何实现秒级生成大型CSV文件？Shell脚本性能优化问询

哇，3分钟生成一个10万行70列的CSV确实拖慢效率，咱们从脚本的瓶颈入手，一步步把速度提上来！

原脚本的核心瓶颈 #

你的bash脚本慢主要有这几个原因：

• 四层嵌套的bash循环：bash的循环是解释执行的，每一次循环都有不小的开销，10万行×70列的循环次数太夸张了
• 频繁的文件IO：每生成一行就用echo写入文件，反复打开/关闭文件的开销极大
• 冗余的数组拼接：用数组存储每一行的内容，额外增加了内存操作的成本

优化方案一：大幅优化bash脚本 #

先从bash本身入手，减少循环和IO操作：

csvGenerator () {
    # 用local变量提升访问速度
    local i k header row_template
    for ((i=1; i<=$NUMCSVS; i++)); do
        CSVNAME="${DIRNAME}-${CSVPREFIX}${i}${CSVEXT}"
        # 跳过已存在的文件
        if [[ -e $CSVNAME ]]; then
            echo "file: $CSVNAME already exists, skipping" >> ../status.txt
            continue
        fi
        
        # 一次性生成表头，替代列循环
        header=$(printf "%s-csv-%d-header-%d, " "$DIRNAME" "$i" $(seq 1 $((NUMCOLS-1))))
        header+="${DIRNAME}-csv-${i}-header-${NUMCOLS}"
        
        # 预构造行模板，用%d作为行号占位符
        row_template=$(printf "%s-csv-%d-r%%dc%d, " "$DIRNAME" "$i" $(seq 1 $((NUMCOLS-1))))
        row_template+="${DIRNAME}-csv-${i}-r%%dc${NUMCOLS}"
        
        # 一次性写入所有内容到文件，只打开一次文件
        {
            echo "$header"
            for ((k=1; k<=$NUMROWS; k++)); do
                printf "${row_template}\n" "$k" "$k"
            done
        } > "$CSVNAME"
        
        echo "file: $CSVNAME created at $(date)" >> ../status.txt
    done
}

关键优化点：

1. 减少循环次数：用printf配合seq一次性生成表头和行模板，替代原来的列循环
2. 批量文件IO：用{ ... } > "$CSVNAME"把所有输出一次性写入文件，避免每行单独IO
3. 模板复用：预构造行模板，用占位符替换行号，减少重复字符串拼接的开销
4. 局部变量：用local定义变量，提升bash的变量访问速度

优化方案二：用Awk替代bash循环（速度提升最明显） #

bash的循环天生慢，而Awk是专门为文本处理设计的工具（底层是C实现），处理大规模文本的速度比bash快一个数量级。

csvGenerator () {
    local i
    for ((i=1; i<=$NUMCSVS; i++)); do
        CSVNAME="${DIRNAME}-${CSVPREFIX}${i}${CSVEXT}"
        if [[ -e $CSVNAME ]]; then
            echo "file: $CSVNAME already exists, skipping" >> ../status.txt
            continue
        fi
        
        # 用Awk生成整个CSV内容
        awk -v dir="$DIRNAME" -v csv_num="$i" -v cols="$NUMCOLS" -v rows="$NUMROWS" '
            BEGIN {
                # 打印表头
                for (j=1; j<=cols; j++) {
                    printf "%s-csv-%d-header-%d", dir, csv_num, j
                    if (j < cols) printf ","
                }
                print ""
                
                # 打印所有行
                for (k=1; k<=rows; k++) {
                    for (l=1; l<=cols; l++) {
                        printf "%s-csv-%d-r%dc%d", dir, csv_num, k, l
                        if (l < cols) printf ","
                    }
                    print ""
                }
            }
        ' > "$CSVNAME"
        
        echo "file: $CSVNAME created at $(date)" >> ../status.txt
    done
}

为什么Awk更快？

• Awk的内部循环是编译执行的，远快于bash的解释型循环
• 同样是一次性输出所有内容到文件，IO开销极小
• Awk的字符串处理效率比bash高很多，适合大规模文本生成

额外加速技巧（可选） #

如果需要生成多个CSV，可以用parallel工具并行生成，进一步提升整体效率，但单个CSV的速度已经可以通过上述方案降到10秒以内了。

内容的提问来源于stack exchange，提问作者kurious