bash脚本sed命令处理百万级日志的时间复杂度优化方案咨询

原有命令的性能瓶颈 #

• 存在无用的cat调用（UUOC问题），多了不必要的管道IO开销
• 两次sed串行处理需要全量遍历整个日志文件，先过滤所有长度≥100的行再取最后一条，百万行级场景下全量扫描耗时必然很高

最优优化方案（时间复杂度O(k)，k为末尾连续短行数量） #

直接从日志尾部倒序读取，找到第一条符合长度要求的行就立刻终止读取，完全不需要扫描前面的全量日志，性能提升可达数百到数千倍。
命令如下：

lastline=$(tac "logs1/$file" | awk 'length >= 100 {print; exit}')

命令解释： #

• tac是cat的反向命令，会从文件的最后一行开始往前倒序读取内容
• awk判断当前行长度≥100时，直接打印该行然后立刻退出程序，后续不需要再读取任何内容
• 哪怕日志末尾有上千行短的不完整数据，也只需要读取这上千行就可以得到结果，完全不需要处理前面的百万行数据

次优兼容方案（无tac环境可用，时间复杂度O(n)，比原命令快1倍以上） #

如果运行环境没有tac命令（比如部分精简Linux环境），可以用单次sed完成逻辑，避免两次sed和多余管道，只需要全量遍历文件一次：

lastline=$(sed -n '/.\{100\}/h;$g;$p' "logs1/$file")

命令解释： #

• 每读到一条长度≥100的行，就将其覆盖写入sed的保持缓冲区
• 读到文件最后一行时，将保持缓冲区的内容取出并打印，最终得到的就是最后一条符合要求的行
• 全程只遍历一次文件，比原有两次sed+cat的逻辑性能提升一倍以上

内容的提问来源于stack exchange，提问作者Fatemeh Abdollahei