如何不全量载入内存即可合并N个已排序文件为单个有序文件

现有N个以换行符分隔内容的文本文件，每个文件内的所有行都已经按字典序排序（单行内部内容不需要有序），单文件内容示例如下：

Include any error messages
Include details about your goal
Describe expected and actual results

要求在不将所有文件全量载入内存的前提下，合并所有文件，输出全局按字典序排序的结果文件。
这个场景的逻辑和合并K个排序链表的思路完全对应，只是把链表的节点替换成了文件中的单行内容。

核心用最小堆+K路归并的方案即可，完全满足内存约束：全程内存中最多只存每个打开文件的当前待处理行，内存占用仅和待合并的文件总数正相关，和单个文件的大小无关，哪怕单文件体积上百G也可以正常处理。
具体操作流程：

• 初始化阶段：逐个打开所有待合并的有序文件，为每个文件维护独立的读取指针，每个文件仅读取第一行内容，将「用于排序的行内容、对应文件的索引、原始行内容」作为元素存入最小堆。堆的排序规则完全按照行内容的字典序设定，保证堆顶元素永远是当前所有待处理行里字典序最小的那一行。
• 循环处理阶段：每次弹出堆顶的最小元素，把对应的原始行内容直接写入最终结果文件；之后从这行所属的原文件中，读取下一行内容，如果文件尚未读到末尾（即确实读取到了新的有效行），就把这行新内容按初始化时的规则重新压入最小堆。
• 终止阶段：重复“弹出堆顶写入-读取下一行压堆”的操作，直到堆为空——此时所有文件的所有行都已经被读取并写入结果文件，关闭所有打开的文件句柄，合并完成。

边界注意事项 #

• 文件读取必须使用逐行迭代的IO接口，禁止使用一次性读取全文件的方法，所有主流编程语言的标准库都原生支持逐行读取，读取时仅会将当前行加载到内存，上一行处理完成后对应的内存就会被回收，不会产生持续的大内存占用。
• 字典序比较前要统一剥离行尾的换行符（兼容\n、\r\n两种常见换行格式），避免因为换行符类型差异导致排序错误，写入结果文件时保留原始行的换行格式即可。
• 如果待合并的文件数量极大，超过操作系统对单进程设置的最大打开文件句柄上限，可以采用分层归并的方案：先把所有待合并文件拆分成若干批次，每批次的文件数低于系统句柄限制，先将每一批次归并为临时的有序文件，最后再对这些生成的临时有序文件做一次K路归并，得到最终结果，全程依然不会把全量数据加载进内存。
• 不要采用“读取所有行到内存列表再统一排序”的偷懒方案，该方案的内存占用和所有文件的总大小正相关，一旦总文件大小超过系统可用内存就会直接触发内存溢出，完全不符合题目的约束要求。

参考实现（Python） #

import heapq

def merge_sorted_files(input_file_paths: list[str], output_file_path: str):
    file_handles = []
    min_heap = []

    # 初始化堆，每个文件读第一行入堆
    for path in input_file_paths:
        f = open(path, 'r', encoding='utf-8')
        file_handles.append(f)
        first_line = f.readline()
        if first_line:
            # 存（比较用的去换行内容，文件索引，原始行内容），避免同内容行比较时触发类型错误
            heapq.heappush(min_heap, (first_line.rstrip('\n\r'), len(file_handles)-1, first_line))
    
    # 逐行弹出最小项写入结果，补读下一行入堆
    with open(output_file_path, 'w', encoding='utf-8') as out_f:
        while min_heap:
            _, file_idx, current_line = heapq.heappop(min_heap)
            out_f.write(current_line)
            next_line = file_handles[file_idx].readline()
            if next_line:
                heapq.heappush(min_heap, (next_line.rstrip('\n\r'), file_idx, next_line))
    
    # 关闭所有文件句柄
    for f in file_handles:
        f.close()

内容的提问来源于stack exchange，提问作者TheRealFakeNews