使用AWK拆分大文件时无法创建超过252个拆分文件的求助

目标是每个拆分文件只包含一个时间戳和对应数据块。使用以下awk命令时，成功生成split1到split252，但处理第253个时间戳时报错：
```bash
regex='([0-9]{2}\/[0-9]{2}\/[0-9]{4})'
awk -v regex=$regex '$0 ~ regex{x="split"++i}; i > 0 {print > x;}' $bigfile

报错信息：

awk: can't open file split253
 source line number 1

单独提取第253到566个时间戳的内容重新执行，仍然出现相同错误。

这是因为awk默认的同时打开文件描述符数量限制。传统awk实现（包括部分gawk版本的默认行为）对同时打开的文件数有严格限制，通常默认上限是256个。但系统本身会占用几个文件描述符（比如标准输入、输出、错误），所以实际能同时打开的文件数大概在252左右。你的命令中，每遇到一个新时间戳就创建一个新文件，但从未关闭之前打开的文件，当打开的文件数达到上限后，就无法再打开新文件，从而报错。

1. 每次切换文件时关闭之前的文件（推荐） #

修改awk命令，在创建新文件前关闭上一个打开的文件，这样始终只保持一个文件处于打开状态，彻底解决文件数限制问题：

regex='([0-9]{2}\/[0-9]{2}\/[0-9]{4})'
awk -v regex="$regex" '$0 ~ regex { if (x != "") close(x); x="split"++i } i>0 { print > x }' "$bigfile"

核心改动是增加了if (x != "") close(x)：每次匹配到新时间戳时，如果之前有打开的文件，就先关闭它，再创建新的输出文件。

2. 临时提升系统文件描述符限制（应急方案） #

如果不想修改awk命令，可以临时提升当前shell进程的文件描述符上限，比如：

ulimit -n 1024

执行完该命令后再运行你的awk脚本即可。注意这个设置只对当前终端会话有效，关闭终端后会恢复默认值，且系统的硬限制可能会阻止你设置过高的数值。

3. 使用时间戳作为文件名（可选优化） #

可以把时间戳处理成合法的文件名，这样拆分后的文件更直观，同时也不影响解决文件数问题：

regex='([0-9]{2}\/[0-9]{2}\/[0-9]{4} [0-9]{2}:[0-9]{2}:[0-9]{2})'
awk -v regex="$regex" '$0 ~ regex { 
    if (x != "") close(x); 
    fname=$0; gsub(/[:\/]/, "_", fname); 
    x="split_"fname 
} 
i>0 { print > x }' "$bigfile"

这样生成的文件名会是split_12_20_2022_23_18_56，能直接看出对应的数据块时间，避免split1这种无意义的命名。

内容的提问来源于stack exchange，提问作者katiayx