如何用Python的seek操作移除70GB大文件首行且不生成新文件

由于文件系统的特性，无法直接删除文件开头的内容，只能通过将后续内容向前覆盖的方式实现移除首行的效果，同时避免创建新文件。针对70GB的大文件，必须分块处理以避免内存溢出，具体步骤和代码如下：

核心思路 #

1. 定位首行末尾的字节偏移量
2. 分块读取首行之后的内容，逐块覆盖到文件开头的位置
3. 截断文件，移除末尾多余的字节（也就是原来首行占用的空间）

实现代码 #

def remove_first_line(file_path):
    block_size = 1024 * 1024  # 1MB分块，可根据内存情况调整
    with open(file_path, 'r+b') as f:
        # 第一步：找到首行结束的偏移量
        offset = 0
        while True:
            byte = f.read(1)
            if not byte:
                # 文件只有一行，直接截断为空
                f.truncate(0)
                return
            if byte == b'\n':
                offset = f.tell()
                break
            # 兼容Windows下的\r\n换行格式
            elif byte == b'\r':
                next_byte = f.read(1)
                if next_byte == b'\n':
                    offset = f.tell()
                    break
                else:
                    # 指针回退，因为不是完整的\r\n
                    f.seek(f.tell() - 1)
        
        # 第二步：分块覆盖内容
        read_pos = offset
        write_pos = 0
        while True:
            f.seek(read_pos)
            block = f.read(block_size)
            if not block:
                break
            f.seek(write_pos)
            f.write(block)
            read_pos += len(block)
            write_pos += len(block)
        
        # 第三步：截断文件，移除末尾冗余部分
        f.truncate(write_pos)

关键注意事项 #

• 使用r+b模式打开文件：该模式支持同时读写，且不会清空原有文件内容
• 分块大小：建议设置为1MB~64MB，平衡内存占用与IO操作效率
• 换行符兼容：同时处理\n（Unix/Linux）和\r\n（Windows）两种换行格式
• 数据安全：操作前务必备份原文件！直接修改原文件存在数据丢失风险，尤其是大文件操作过程中若意外中断，文件会损坏

内容的提问来源于stack exchange，提问作者Vijaya Garu