如何拆分仅含单行的3-5GB超大txt二进制文件，按指定分隔符提取内容

核心思路 #

• 采用固定大小分块读取文件，避免一次性加载全量内容到内存
• 每次读取后保留当前块末尾长度为「分隔符长度-1」的内容，和下一次读取的块拼接，解决分隔符被跨块截断的问题
• 由于单段内容最大仅5MB，分块大小设置为略大于5MB即可保证不会出现单段内容跨多块无法识别的问题

实现代码 #

# 配置参数
SEP = b"_@%@_"  # 分隔符转二进制，匹配二进制读取模式
SEP_LEN = len(SEP)
BLOCK_SIZE = 8 * 1024 * 1024  # 分块大小设为8MB，大于单段最大5MB即可
INPUT_FILE = "替换为你的实际文件路径.txt"

# 遗留缓冲区，存储上一次块末尾未匹配完的内容
leftover = b""

with open(INPUT_FILE, "rb") as f:
    while True:
        # 读取当前块
        block = f.read(BLOCK_SIZE)
        if not block:
            # 读取结束，处理最后遗留的内容
            if leftover:
                # 解码转人类可读格式，编码根据实际文件编码调整
                print(leftover.decode("utf-8", errors="ignore"))
            break
        
        # 拼接遗留内容和当前块
        current = leftover + block
        # 按分隔符拆分
        parts = current.split(SEP)
        # 最后一段可能是不完整的，留到下一次拼接
        leftover = parts.pop()
        # 如果剩余内容长度超过分隔符长度，只保留最后SEP_LEN-1位即可，多余的是有效内容
        if len(leftover) >= SEP_LEN:
            parts.append(leftover[:-SEP_LEN+1])
            leftover = leftover[-SEP_LEN+1:]
        
        # 处理当前拆分出来的有效段，过滤空串
        for part in parts:
            if part:
                # 这里替换为你自己的转换逻辑，转成人类可读格式输出
                print(part.decode("utf-8", errors="ignore"))

关键逻辑说明 #

• 二进制读取适配：你明确说明文件是二进制类型，用文本模式读取可能会因为编码识别错误导致内容损坏、分隔符匹配失败，因此代码统一使用二进制流处理
• 跨块分隔符兼容：比如第一块末尾读取到_@%（分隔符前3位），第二块开头读取到@_（分隔符后2位），拼接后完整的_@%@_会被正确识别拆分，不会漏判
• 内存占用控制：单次内存占用最高为块大小+分隔符长度，仅8MB左右，完全不会触发内存溢出

内容的提问来源于stack exchange，提问作者smilyface