如何避免重复打开大型TXT文件完成多阶段关联计算？

问题背景 #

有一批体积庞大的TXT文件（如A.txt、B.txt），需要完成两步操作：

1. 对每个文件计算对应的变量（如varA、varB），找出变量差值最小的10组文件对；
2. 针对这10组文件对，同时读取每组中两个文件的指定列数据做进一步计算。

当前暴力解法会重复读取大文件，导致效率极低。

核心优化思路：一次性读取并缓存所需数据 #

方案1：内存缓存（优先选择，内存足够时用） #

第一次遍历文件时，同时计算变量和缓存后续需要的列数据，避免后续重复打开大文件。用字典存储每个文件的关键信息，键为文件名，值为元组(计算得到的var值, 后续需要的列数据)。

示例代码：

# 缓存所有文件的var和所需列数据
file_cache = {}
files = ["A.txt", "B.txt", ...]  # 你的文件列表

for f in files:
    # 一次性读取文件，同时完成var计算和列数据提取
    df = pd.read_csv(f)  # 假设用pandas，也可以用其他读取方式
    var = df["用于计算var的列"].mean()  # 替换成你的实际var计算逻辑
    target_col = df["后续需要的列"].values  # 提取后续要用到的列数据
    file_cache[f] = (var, target_col)

# 生成所有文件对的差值并排序
difference_list = []
file_list = list(file_cache.keys())
for i in range(len(file_list)):
    for j in range(i+1, len(file_list)):
        f1, f2 = file_list[i], file_list[j]
        var1, _ = file_cache[f1]
        var2, _ = file_cache[f2]
        diff = abs(var1 - var2)  # 取绝对值，根据需求调整
        difference_list.append((diff, f1, f2))

# 按差值从小到大排序，取前10组
difference_list.sort(key=lambda x: x[0])
top10_pairs = difference_list[:10]

# 用缓存的数据做后续计算
for diff, f1, f2 in top10_pairs:
    _, col1 = file_cache[f1]
    _, col2 = file_cache[f2]
    # 执行需要同时用到col1和col2的计算
    result = some_custom_calculation(col1, col2)

方案2：磁盘缓存（内存不足时用） #

如果文件总数据量超过内存上限，第一次读取时只提取后续需要的列数据，保存为体积更小的临时文件，后续直接读取这些临时文件，比读取原始大文件快得多。

示例代码：

import os
from tempfile import TemporaryDirectory

# 创建临时目录存储精简后的列数据
with TemporaryDirectory() as temp_dir:
    file_info = {}
    files = ["A.txt", "B.txt", ...]

    for f in files:
        df = pd.read_csv(f)
        var = df["用于计算var的列"].mean()  # 计算var
        # 提取目标列，保存为临时文件
        temp_path = os.path.join(temp_dir, f"{os.path.basename(f)}.tmp")
        df["后续需要的列"].to_csv(temp_path, index=False)
        file_info[f] = (var, temp_path)

    # 生成差值、排序、取前10组的逻辑和方案1一致
    difference_list = []
    file_list = list(file_info.keys())
    for i in range(len(file_list)):
        for j in range(i+1, len(file_list)):
            f1, f2 = file_list[i], file_list[j]
            var1, _ = file_info[f1]
            var2, _ = file_info[f2]
            diff = abs(var1 - var2)
            difference_list.append((diff, f1, f2))
    
    difference_list.sort(key=lambda x: x[0])
    top10_pairs = difference_list[:10]

    # 读取临时文件做后续计算
    for diff, f1, f2 in top10_pairs:
        _, temp1 = file_info[f1]
        _, temp2 = file_info[f2]
        col1 = pd.read_csv(temp1).values.flatten()
        col2 = pd.read_csv(temp2).values.flatten()
        result = some_custom_calculation(col1, col2)

额外优化：减少不必要的差值计算 #

如果文件数量极多，全量计算所有文件对的差值会很耗时。可以先对var值排序，差值最小的文件对大概率出现在排序后的相邻位置，这样只需计算相邻元素的差值，大幅减少计算量：

# 先按var值排序文件
sorted_files = sorted(file_cache.items(), key=lambda x: x[1][0])
difference_list = []
for i in range(len(sorted_files)-1):
    f1, (var1, _) = sorted_files[i]
    f2, (var2, _) = sorted_files[i+1]
    diff = abs(var1 - var2)
    difference_list.append((diff, f1, f2))

# 排序后取前10，若担心遗漏非相邻的极小差值，可扩大范围（比如取相邻3个元素）
difference_list.sort(key=lambda x: x[0])
top10_pairs = difference_list[:10]

内容的提问来源于stack exchange，提问作者Allure