大体积TXT文件按分类提取含可变条目的ID区块

针对7GB大文件的区块提取需求，核心思路是只缓存当前正在处理的单个区块，逐行读取文件，遇到分隔线时检查当前区块是否符合条件，符合则直接写入输出文件，全程内存占用仅为单个区块的大小，完全适配超大规模文件。

实现步骤 #

1. 定义分隔线常量，注意匹配文件中的换行符（避免因行尾换行不匹配导致判断失败）
2. 初始化区块缓存列表，用于临时存储当前读取的区块内容
3. 逐行遍历输入文件，将每行加入缓存
4. 当读到分隔线时，检查缓存的区块是否满足Category=A且Subcat=A的条件：
   • 利用元数据固定位置的特性，直接提取对应行的字段值，无需遍历整个区块
   • 符合条件则将整个区块写入输出文件
5. 清空缓存，继续处理下一个区块

Python代码示例 #

# 配置参数
SEPARATOR = "|-------------------------|\n"  # 需与原文件分隔线完全匹配（包括行尾换行）
INPUT_PATH = "your_large_file.txt"
OUTPUT_PATH = "filtered_blocks.txt"

def check_block_condition(block):
    # 假设元数据固定位置：第2行是Category，第5行是Subcat（索引从0开始）
    if len(block) < 5:
        return False  # 跳过不完整的无效区块
    
    # 提取Category字段
    category_part = block[1].strip().split(":")[-1].strip()
    # 提取Subcat字段
    subcat_part = block[4].strip().split(":")[-1].strip()
    
    return category_part == "A" and subcat_part == "A"

# 处理文件
with open(INPUT_PATH, "r", encoding="utf-8") as in_file, open(OUTPUT_PATH, "w", encoding="utf-8") as out_file:
    current_block = []
    for line in in_file:
        current_block.append(line)
        
        # 遇到分隔线时处理当前区块
        if line == SEPARATOR:
            if len(current_block) > 1:  # 排除仅包含分隔线的空区块
                if check_block_condition(current_block):
                    out_file.writelines(current_block)
            # 清空缓存，准备下一个区块
            current_block = []
    
    # 处理文件末尾可能未以分隔线结尾的区块
    if current_block and check_block_condition(current_block):
        out_file.writelines(current_block)

关键优势 #

• 低内存占用：仅缓存单个区块，不会加载整个文件，适配任意大小的输入文件
• 格式完全保留：直接写入区块的所有原始行，包括分隔线和可变条目，完全符合输出要求
• 高效判断：利用元数据固定位置的特性，避免遍历整个区块，提升处理速度

边界情况处理 #

• 若文件开头存在无关内容（非区块部分），会被自动跳过（第一个分隔线触发时，缓存仅含分隔线，不满足len>1的条件）
• 若文件末尾的区块未以分隔线结尾，循环结束后会额外检查并写入符合条件的区块
• 元数据行的格式小差异（如冒号前后空格）通过strip()处理，确保字段提取准确

内容的提问来源于stack exchange，提问作者PSt