如何流式从xz压缩大文本文件中按指定行号快速筛选目标行

可用流式处理命令 #

xz -dcq huge.txt.xz | awk '!firstfile_proceed { nums[$1]; next } (FNR in nums)' select.txt firstfile_proceed=1 - > filtered.txt

适配说明 #

仅在你原有awk逻辑的参数末尾新增了-符号，这个符号在awk语法中代表从标准输入读取内容，刚好承接管道传过来的解压后文本流，完全不需要先落地保存60GB的源文件。

如果你的select.txt中的行号是按升序排列的，还可以添加提前退出逻辑进一步提升处理效率，不需要读完整个解压流：

xz -dcq huge.txt.xz | awk '
!firstfile_proceed { 
    nums[$1]; 
    max_line = ($1 > max_line ? $1 : max_line);
    next 
} 
FNR in nums { print }
FNR > max_line { exit }
' select.txt firstfile_proceed=1 - > filtered.txt

内容的提问来源于stack exchange，提问作者Cornelius Roemer