无需调用sort命令实现两个大日志文件的实时合并排序视图

既然你的两个日志文件本身已经按时间戳升序排列了，那完全没必要用开销大的全局排序命令——咱们用归并排序里的合并步骤来处理，效率拉满，内存占用还极低。

核心思路 #

因为两个文件内部都是有序的，我们可以同时读取两个文件的行，每次比较当前两行的时间戳，输出时间更早的那一行，然后读取对应文件的下一行。等其中一个文件读完，再把另一个文件剩下的内容直接输出就行。整个过程的时间复杂度是O(n+m)（n、m是两个文件的行数），比sort命令的O((n+m)log(n+m))快得多，而且不用把整个文件塞进内存，超大文件也能轻松处理。

具体实现（Python脚本） #

写个简单的Python脚本就能搞定，代码可读性强，还容易调整：

def parse_timestamp(line):
    # 提取行首的时间戳，你的格式是YYYY/MM/DD-HH:MM:SS，刚好前19个字符
    return line[:19]

def merge_sorted_logs(file1_path, file2_path):
    with open(file1_path, 'r') as f1, open(file2_path, 'r') as f2:
        # 读取两行初始内容，去掉首尾空白
        line1 = f1.readline().strip()
        line2 = f2.readline().strip()
        
        # 循环比较两行的时间戳
        while line1 and line2:
            ts1 = parse_timestamp(line1)
            ts2 = parse_timestamp(line2)
            
            if ts1 <= ts2:
                print(line1)
                line1 = f1.readline().strip()
            else:
                print(line2)
                line2 = f2.readline().strip()
        
        # 处理其中一个文件剩下的所有行
        while line1:
            print(line1)
            line1 = f1.readline().strip()
        while line2:
            print(line2)
            line2 = f2.readline().strip()

if __name__ == "__main__":
    import sys
    if len(sys.argv) != 3:
        print("用法：python merge_logs.py log1.txt log2.txt")
        sys.exit(1)
    merge_sorted_logs(sys.argv[1], sys.argv[2])

使用方法 #

1. 把上面的代码保存为merge_logs.py
2. 在命令行运行：

   python merge_logs.py log1.txt log2.txt
   

3. 如果要把结果保存到文件，直接重定向输出：

   python merge_logs.py log1.txt log2.txt > merged_log.txt
   

注意事项 #

• 必须保证两个输入日志文件本身是严格按时间戳升序排列的，如果有乱序的行，这个方法就不适用了，那时候才需要用sort命令。
• 如果你的时间戳格式和示例不同，调整parse_timestamp函数即可：比如如果时间戳是其他格式，可能需要转换成datetime对象来比较，但只要格式统一，直接用字符串比较是最快捷的（因为时间戳的字符串顺序和实际时间顺序一致）。
• 这个脚本的内存占用极低，每次只处理两行内容，几个GB的大日志文件也能轻松处理，不会出现内存溢出的问题。

内容的提问来源于stack exchange，提问作者Eugene Fooksman