使用SpaCy处理12GB XML文本内存不足，求助分块分词优化方案

现有代码的问题 #

1. 内存累积过载：all_tokens会存储所有分词结果，12GB文本的分词量极大，直接占满32GB内存。
2. 分块逻辑不合理：minibatch(file, size=100)按行分块，但XML可能存在超大型行（比如整段内容压缩在一行），导致单批次处理的数据量依然过大，内存瞬间飙升。
3. 资源未及时释放：spaCy的Doc对象处理后可能因引用残留占用内存，加上累积的分词列表，内存无法有效回收。

优化后的实现方案 #

核心思路 #

• 放弃内存存储全量结果，改为分块写入输出文件，彻底避免内存累积。
• 用SAX解析XML，按节点分块处理（而非按行），确保每个处理块的大小可控。
• 最大化精简spaCy管道，只保留分词组件，降低内存开销。
• 处理完每个批次后显式触发垃圾回收，释放无用内存。

代码实现 #

import spacy
from xml.sax import make_parser, ContentHandler
import gc

# 初始化spaCy，仅保留分词器
nlp = spacy.load("es_core_news_sm")
# 禁用所有非必要管道
for pipe_name in nlp.pipe_names:
    if pipe_name != "tokenizer":
        nlp.disable_pipes(pipe_name)

class XMLTokenizeHandler(ContentHandler):
    def __init__(self, output_file, batch_size=10):
        self.output_file = output_file
        self.batch_size = batch_size
        self.current_text = []
        self.batch_buffer = []

    def characters(self, content):
        # 收集XML节点内的有效文本
        if content.strip():
            self.current_text.append(content.strip())

    def endElement(self, name):
        # 节点结束时，将文本加入批次缓冲区
        if self.current_text:
            self.batch_buffer.append(' '.join(self.current_text))
            self.current_text = []
            # 批次达标后处理并写入
            if len(self.batch_buffer) >= self.batch_size:
                self.process_batch()

    def process_batch(self):
        # 批量处理文本并写入结果
        for doc in nlp.pipe(self.batch_buffer, batch_size=self.batch_size):
            tokens = [token.text for token in doc if not token.is_space]
            self.output_file.write('\n'.join(tokens) + '\n')
        # 清空缓冲区并触发垃圾回收
        self.batch_buffer.clear()
        gc.collect()

    def endDocument(self):
        # 处理剩余的缓冲区内容
        if self.batch_buffer:
            self.process_batch()

def tokenize_large_xml(corpus_file, output_path, batch_size=10):
    with open(output_path, 'w', encoding='utf-8') as out_file:
        handler = XMLTokenizeHandler(out_file, batch_size)
        parser = make_parser()
        parser.setContentHandler(handler)
        with open(corpus_file, 'r', encoding='utf-8') as xml_file:
            parser.parse(xml_file)

# 使用示例
tokenize_large_xml("large_corpus.xml", "tokens_output.txt", batch_size=10)

额外优化建议 #

• 调整batch_size：根据内存使用情况灵活调整，内存占用高就调小（比如5），CPU闲置可适当调大。
• 换用轻量模型：如果不需要spaCy的附加功能，用spacy.blank("es")替代es_core_news_sm，能进一步降低内存消耗：

  nlp = spacy.blank("es")
  

• 内存监控微调：可加入psutil库实时监控内存，动态调整批次大小：

  import psutil
  def get_memory_usage():
      return psutil.Process().memory_info().rss / 1024 ** 2  # 返回当前内存占用（MB）
  

内容的提问来源于stack exchange，提问作者Mustafa