Linux管道中sort命令的数据流转机制：大文件场景处理逻辑

假设执行命令：

cat afile [ | possibly awk or similar to process the file] | sort

数据流转路径大致为：

afile -- stdout -- os buffer -- stdin -- sort

当afile较小时，sort能获取全部内容后排序；但文件较大时，数据会分块传输。由于管道进程是并发运行的，sort可以迭代接收数据并存储。请问sort是否需要等接收完所有数据才开始排序？会不会把数据写入文件再处理？这个问题也适用于其他需要完整数据才能运行的Linux命令。

回答 #

• sort必须等接收全部输入数据后才能启动排序流程。因为排序的核心是确定所有元素的相对位置，没有完整数据集的话，无法判断某个元素的最终排序位置，所以不可能边接收数据边排序。
• 处理大文件时，sort会把数据写入临时文件。当输入数据量超过sort默认的内存使用阈值时，它会将数据分割成多个能放进内存的块，先对每个块单独排序并写入临时文件，等所有数据接收完成后，再把这些排序好的临时文件合并成最终的排序结果。如果数据量小到能完全放进内存，就直接在内存里处理，不会写临时文件。

对于其他需要完整数据才能运行的Linux命令（比如uniq -c、comm、join这类依赖全量输入的命令），逻辑也是一样的：

• 必须等所有输入接收完毕才开始处理
• 数据量超出内存承载时，会自动使用临时文件存储中间数据，避免内存不足

内容的提问来源于stack exchange，提问作者eugene