使用sed配合tar压缩时出错及参数列表过长问题求助

第一个问题：tar -T $(sed...) 报文件找不到的原因 #

你这里踩了一个常见的shell命令选项使用误区：tar的-T（或--files-from）选项要求后面跟的是包含文件列表的文件名，而不是直接把文件列表内容作为参数传递。

当你执行tar czvf /home/bukanadmin/test.tar.gz -T $(sed -n 1,10p /home/bukanadmin/not_found_test1.txt)时，shell会先执行sed命令，把输出的10行文件路径拆分成10个独立的命令行参数。这时候你的命令实际上会被解析成：

tar czvf /home/bukanadmin/test.tar.gz -T 第一行路径 第二行路径 ... 第十行路径

tar会把-T后面的第一个路径当成“包含文件列表的文件”来读取，但这个路径本来是你要打包的目标文件，并不是一个存着列表的文件，自然会报错“文件无法找到”。而直接用-T /home/bukanadmin/not_found_test1.txt时，你正确给-T传了列表文件的路径，所以tar能正常读取里面的内容。

解决第一个问题的正确方式 #

如果你只想打包列表文件里的前10行对应的文件，有两种简单方法：

1. 用进程替换（bash支持）：

   tar czvf /home/bukanadmin/test.tar.gz -T <(sed -n 1,10p /home/bukanadmin/not_found_test1.txt)
   

   <(...)会让bash创建一个匿名管道，tar会把它当成一个普通文件来读取里面的sed输出，完美匹配-T的要求。
2. 临时文件中转：
   如果你的shell不支持进程替换，先把sed的输出存到临时文件再用-T：

   sed -n 1,10p /home/bukanadmin/not_found_test1.txt > /tmp/temp_file_list.txt
   tar czvf /home/bukanadmin/test.tar.gz -T /tmp/temp_file_list.txt
   rm /tmp/temp_file_list.txt
   

第二个问题：参数列表过长的原因 #

当你改用tar czvf /home/bukanadmin/test.tar.gz $(sed...)时，相当于把sed输出的所有文件路径直接作为命令行参数传给tar。Linux系统对单个命令的命令行参数总长度有上限（由ARG_MAX控制，一般在几MB左右），当你一次性传递10万个文件名时，总长度肯定超过了这个限制，所以bash会抛出Argument list too long的错误。

解决第二个问题的最优方式 #

还是回到tar -T的用法，不管你要取多少行，用进程替换或者临时文件的方式，都能避免参数列表过长的问题：

# 用进程替换处理100000-200000行的情况
tar czvf /home/bukanadmin/test.tar.gz -T <(sed -n 100000,200000p /home/bukanadmin/not_found_test1.txt)

这种方式下，tar是从管道里逐个读取文件名，不会把所有文件名都塞进命令行参数里，自然不会触发长度限制。

另外补充一点：如果你的文件名里包含空格、换行或者特殊字符，直接用$(sed...)传递参数还会导致文件名被错误拆分，而-T方式能完美处理这些特殊场景，这也是推荐用-T的另一个原因。

内容的提问来源于stack exchange，提问作者Fakhryan Albar