如何使用Python修改并覆盖大文件，无需一次性全部加载到内存

核心前提说明 #

文件在操作系统中以固定字节序列存储，如果你修改后的行长度和原行长度完全一致，可以直接做纯原地修改；如果行长度有变化，必须移动后续内容的位置，这种场景下我们可以用系统托管的临时文件实现，不会在目标目录生成可见的额外文件，同时内存占用可控。

方案1：纯原地修改（适用于修改前后行长度完全一致的场景） #

不需要任何额外磁盘空间，内存仅加载当前处理的单行内容，适配GB级大文件，代码示例如下：

datfile = 'C:/some_path/text.txt'

with open(datfile, 'r+', encoding='utf-8') as f:
    offset = 0
    while True:
        line = f.readline()
        if not line:
            break
        # 仅拆分2次，优化性能
        parts = line.split(maxsplit=2)
        if parts[0] == 'TABLE':
            # 构造新行，需要保证和原行长度完全一致，保留原行的换行符、空格等格式
            new_line = f"{parts[0]} new{parts[2]}" if len(parts)>=3 else f"{parts[0]} new\n"
            if len(new_line) != len(line):
                raise ValueError("修改后行长度与原行不一致，无法使用纯原地修改方案")
            # 指针跳回当前行的起始位置
            f.seek(offset)
            f.write(new_line)
            # 指针跳回当前行末尾，和正常读取的位置对齐
            f.seek(offset + len(line))
        # 记录下一行的起始偏移量
        offset = f.tell()

方案2：系统托管临时文件方案（适用于修改前后行长度不一致的场景） #

用系统级临时文件中转内容，临时文件默认优先存内存，超过阈值才落盘，处理完成后自动删除，不会生成可见的新文件，内存占用可控，代码示例如下：

import tempfile

datfile = 'C:/some_path/text.txt'
# 临时文件最大10MB内存占用，超过阈值自动落盘
MAX_MEM_SIZE = 10 * 1024 * 1024

with open(datfile, 'r', encoding='utf-8') as src_f, \
     tempfile.SpooledTemporaryFile(mode='w+', encoding='utf-8', max_size=MAX_MEM_SIZE) as tmp_f:
    for line in src_f:
        parts = line.split(maxsplit=2)
        if parts[0] == 'TABLE':
            line = f"{parts[0]} new{parts[2]}" if len(parts)>=3 else f"{parts[0]} new\n"
        tmp_f.write(line)
    # 临时文件指针回到开头，内容覆盖写回原文件
    tmp_f.seek(0)
    with open(datfile, 'w', encoding='utf-8') as dst_f:
        for line in tmp_f:
            dst_f.write(line)

注意事项 #

• 操作前建议先备份原文件，避免逻辑错误导致数据损坏
• 纯原地修改方案严格要求修改前后行长度完全一致，否则会出现后续内容被覆盖、行内容残留的问题
• 临时文件方案适配所有修改场景，内存最高占用仅为你设置的阈值+单行大小，完全不会加载整个文件到内存

内容的提问来源于stack exchange，提问作者user190081