Python实现磁盘多文件归并：处理大文件与同键值合并需求

针对你需要合并大体积已排序键值对文件、同键值求和且低内存占用的需求，用堆（heapq）+ 文件迭代器的方案可以完美解决，核心是每次仅加载单条行数据到内存，避免一次性读取整个文件。

核心思路 #

1. 为每个文件创建逐行迭代器，只在需要时读取下一行，内存中始终只保留当前处理的行
2. 用堆维护所有文件的当前待处理行，快速获取全局最小键（利用堆的小顶堆特性）
3. 遇到相同键时，累加所有对应的值，完成合并后再读取对应文件的下一行放入堆中

完整实现代码 #

import heapq

def file_key_value_iter(file_path):
    """逐行读取文件的键值对，返回迭代器，跳过空行"""
    with open(file_path, 'r') as f:
        for line in f:
            stripped_line = line.strip()
            if not stripped_line:
                continue
            # 假设键值用空格分隔，根据实际格式调整分隔符
            key, value_str = stripped_line.split(maxsplit=1)
            yield key, int(value_str)

def merge_sorted_kv_files(file_paths):
    # 初始化堆：存储(当前键, 当前值, 对应文件的迭代器)
    heap = []
    for path in file_paths:
        kv_iter = file_key_value_iter(path)
        try:
            first_key, first_val = next(kv_iter)
            heapq.heappush(heap, (first_key, first_val, kv_iter))
        except StopIteration:
            # 跳过空文件
            continue

    while heap:
        current_key, total_val, current_iter = heapq.heappop(heap)
        
        # 合并所有相同键的条目
        while heap and heap[0][0] == current_key:
            _, val, iter_ = heapq.heappop(heap)
            total_val += val
        
        # 输出合并结果（可替换为写入目标文件等操作）
        print(f"{current_key} {total_val}")
        
        # 读取当前文件的下一行，若存在则推入堆
        try:
            next_key, next_val = next(current_iter)
            heapq.heappush(heap, (next_key, next_val, current_iter))
        except StopIteration:
            # 文件已读完，无需处理
            pass

# 使用示例
if __name__ == "__main__":
    target_files = ["sorted_file1.txt", "sorted_file2.txt", "sorted_file3.txt"]
    merge_sorted_kv_files(target_files)

关键细节说明 #

• 内存效率：文件对象本身是迭代器，for line in f不会一次性加载整个文件，每次仅读取一行到内存，即使是GB级大文件也能轻松处理
• 堆的作用：小顶堆保证每次能快速获取全局最小键，k路归并的时间复杂度为O(n log k)（n为总行数，k为文件数），效率远高于暴力遍历
• 同键合并逻辑：弹出堆顶后，循环检查堆顶是否为相同键，累加值直到键不同，确保所有同键条目都被合并
• 鲁棒性：处理空文件和空行，避免因格式问题导致程序崩溃

内容的提问来源于stack exchange，提问作者Aman Sharma