使用Python排序TXT文件两列数据及大体积整数TXT文件无内存存储排序方案咨询

问题1：如何对TXT文件中的两列数据进行排序？ #

首先得明确你的TXT文件格式，假设每行是用空格（或制表符）分隔的两列数据，比如：

3 5
1 2
4 1

这里提供一套完整的处理流程，包含读取、排序、写入的代码：

步骤说明 #

• 逐行读取文件，解析每一行的两列数据，转换成合适的类型（整数/浮点数）
• 根据需求选择排序依据（按第一列升序/降序，或第二列）
• 将排序后的结果写入新文件，避免覆盖原数据

示例代码 #

# 读取数据到列表
data = []
with open('input_data.txt', 'r') as f:
    for line_num, line in enumerate(f, 1):
        line = line.strip()
        # 跳过空行
        if not line:
            continue
        try:
            # 拆分两列，若用逗号分隔则改成split(',')
            col1, col2 = line.split()
            # 转换成整数，需要浮点数就换成float
            data.append( (int(col1), int(col2)) )
        except ValueError:
            print(f"⚠️ 第{line_num}行格式错误，已跳过：{line}")

# 排序操作
# 按第一列升序排序
sorted_by_col1 = sorted(data, key=lambda x: x[0])
# 按第二列降序排序
sorted_by_col2_desc = sorted(data, key=lambda x: x[1], reverse=True)

# 将排序结果写入文件
with open('sorted_by_col1.txt', 'w') as f:
    for item in sorted_by_col1:
        f.write(f"{item[0]} {item[1]}\n")

with open('sorted_by_col2_desc.txt', 'w') as f:
    for item in sorted_by_col2_desc:
        f.write(f"{item[0]} {item[1]}\n")

如果你的文件格式有特殊情况（比如固定宽度的列），可以调整解析逻辑，但核心思路都是先把数据解析成可排序的结构，再用Python内置的sorted()函数处理。

问题2：3GB大文件排序避免MemoryError的方案 #

8GB内存直接加载3GB的整数文件会触发MemoryError，原因是Python的列表和整数对象有额外的内存开销（远大于原生二进制数据的大小）。这里需要用外部排序的思路——分块排序+多路归并，无需把整个文件加载到内存。

核心思路 #

1. 分块处理：把大文件拆分成多个小内存块（比如100MB/块），对每个块单独排序后写入临时文件
2. 多路归并：用堆结构高效合并所有有序的临时文件，生成最终的有序文件

完整实现代码 #

import os
import tempfile
import heapq

def split_and_sort_blocks(input_file, block_size=100*1024*1024):
    """将大文件拆分成多个排序后的临时文件"""
    temp_files = []
    with open(input_file, 'r') as f:
        while True:
            # 读取一块数据（按字节数）
            block_content = f.read(block_size)
            if not block_content:
                break
            
            # 解析成整数列表并排序
            nums = list(map(int, block_content.split()))
            nums.sort()
            
            # 创建临时文件保存排序后的块
            temp_file = tempfile.NamedTemporaryFile(mode='w+', delete=False)
            temp_file.write(' '.join(map(str, nums)) + '\n')
            temp_file.close()
            temp_files.append(temp_file.name)
    
    return temp_files

def merge_sorted_temp_files(temp_files, output_file):
    """多路归并所有有序临时文件到最终输出"""
    # 打开所有临时文件，准备迭代读取
    file_handles = [open(f, 'r') for f in temp_files]
    
    # 初始化堆：每个元素是(当前最小数, 文件句柄)
    heap = []
    for fh in file_handles:
        first_num_str = fh.readline().strip()
        if first_num_str:
            heapq.heappush(heap, (int(first_num_str), fh))
    
    # 开始归并
    with open(output_file, 'w') as out_f:
        while heap:
            smallest_num, fh = heapq.heappop(heap)
            out_f.write(f"{smallest_num} ")
            
            # 读取当前文件的下一个数
            next_num_str = fh.readline().strip()
            if next_num_str:
                heapq.heappush(heap, (int(next_num_str), fh))
            else:
                fh.close()
    
    # 清理临时文件
    for f in temp_files:
        os.unlink(f)

# 调用示例
if __name__ == "__main__":
    INPUT_FILE = "large_data.txt"
    OUTPUT_FILE = "sorted_large_data.txt"
    
    # 分块排序
    temp_files = split_and_sort_blocks(INPUT_FILE)
    # 归并输出
    merge_sorted_temp_files(temp_files, OUTPUT_FILE)
    print(f"✅ 排序完成，结果已保存到 {OUTPUT_FILE}")

优化建议 #

• 调整block_size：根据你的可用内存调整，比如内存充足可以调到200MB/块，减少临时文件数量
• 如果文件是换行分隔的整数，把split()改成split('\n')更高效
• Python 3.10+可以用heapq.merge简化归并逻辑，但上面的代码兼容性更好

内容的提问来源于stack exchange，提问作者Safayet Hossain Sobuj