如何使用csplit将大文件分割为指定命名格式的小文件

嘿，这个需求我刚好实操过，用csplit配合几个参数就能完美搞定，咱们一步步来：

第一步：计算每个分割文件的行数 #

首先得确定每个文件要放多少行。假设你的超大文件叫bigfile.txt，总共有4000万行，要分成80个文件，那每个文件的行数就是：

lines_per_file=$((40000000 / 80))
# 结果是500000行

如果总行数不能被80整除，csplit会自动把剩余的行放到最后一个文件里，不用额外处理。

第二步：执行csplit分割命令（GNU版本） #

GNU csplit（大部分Linux发行版自带）支持直接指定文件名格式，用这条命令就行：

csplit --prefix=FILE --suffix-format="%08d.txt" --number-from=1 bigfile.txt "${lines_per_file}" {79}

参数解释： #

• --prefix=FILE：设置输出文件的前缀为FILE
• --suffix-format="%08d.txt"：指定后缀为8位补零的数字加.txt，比如00000001.txt
• --number-from=1：让文件编号从1开始，而不是默认的0
• ${lines_per_file}：每个文件的行数（这里是500000）
• {79}：重复执行分割动作79次——因为第一次分割会生成2个文件，重复79次后总共得到80个文件，刚好符合需求

注意：BSD系统（比如macOS）的适配 #

如果你用的是macOS这类BSD系统，自带的csplit参数和GNU版本不一样，得先分割再重命名：

1. 先分割成8位数字前缀的文件（默认从0开始）：

   csplit -n 8 -f FILE bigfile.txt "${lines_per_file}" {79}
   

2. 再把编号从0改成1，统一命名格式：

   for file in FILE*.txt; do
       # 提取原编号，加1后重新生成8位文件名
       new_num=$((10#$(echo "$file" | grep -o '[0-9]\{8\}') + 1))
       new_file=$(printf "FILE%08d.txt" "$new_num")
       mv "$file" "$new_file"
   done
   

这样操作完，你就能得到FILE00000001.txt到FILE00000080.txt这80个符合要求的文件啦～

内容的提问来源于stack exchange，提问作者JLLMNCHR