如何合并多个spaCy Vocab实例？分布式文档处理场景技术问询

好问题！spaCy目前确实没有提供直接合并多个Vocab的内置方法，但我们可以通过手动整合Vocab的核心组件来实现一个可靠的合并逻辑——毕竟Vocab本质上就是字符串、词形（Lexeme）和各类标签的集合，只要把这些内容统一到一个全局Vocab里就行。

核心思路 #

每个spaCy Vocab包含三个关键部分：

• 字符串存储（strings）：映射文本到唯一hash值
• 词形表（Lexeme集合）：存储每个词的POS、形态、向量等属性
• 标签映射（如labels、entity_labels）：存储标注任务用到的各类标签

合并的目标就是把所有子Vocab的这些内容整合到一个全局Vocab中，同时处理可能的冲突（比如同一个词在不同Vocab里有不同的属性）。

实现代码 #

这里提供一个实用的合并函数，你可以直接用：

import spacy
from spacy.vocab import Vocab

def merge_vocabs(base_vocab: Vocab, *other_vocabs: Vocab) -> Vocab:
    # 以传入的第一个Vocab为基础创建副本，避免修改原对象
    merged_vocab = base_vocab.copy()

    # 第一步：合并所有字符串（重复字符串会自动被忽略）
    for vocab in other_vocabs:
        for string in vocab.strings:
            merged_vocab.strings.add(string)

    # 第二步：合并词形（Lexeme）
    for vocab in other_vocabs:
        for lexeme in vocab:
            # 检查当前词形是否已存在于合并后的Vocab中
            existing_lexeme = merged_vocab.get(lexeme.text)
            if not existing_lexeme:
                # 不存在则添加
                merged_vocab.set_lexeme(lexeme)
            else:
                # 存在则检查属性是否一致，避免冲突
                if existing_lexeme.__dict__ != lexeme.__dict__:
                    print(f"⚠️ 警告：词 '{lexeme.text}' 在不同Vocab中属性不一致，请检查！")

    # 第三步：合并各类标签（包括实体、依存关系等标签）
    label_collections = ["labels", "span_labels", "entity_labels", "dep_labels"]
    for collection_name in label_collections:
        merged_collection = getattr(merged_vocab, collection_name)
        for vocab in other_vocabs:
            other_collection = getattr(vocab, collection_name)
            for label in other_collection:
                if label not in merged_collection:
                    merged_collection.add(label)

    return merged_vocab

使用示例 #

假设你有三个从不同进程导出的Vocab：vocab1、vocab2、vocab3，合并时只需：

global_vocab = merge_vocabs(vocab1, vocab2, vocab3)

之后加载之前保存的文档时，要指定这个全局Vocab：

from spacy.tokens import Doc

# 加载单个文档
doc = Doc(global_vocab).from_disk("./processed_docs/doc1.spacy")

# 批量加载可以遍历路径列表
for doc_path in doc_paths:
    doc = Doc(global_vocab).from_disk(doc_path)
    # 后续处理逻辑

注意事项 #

1. 词形冲突处理：如果同一个词在不同Vocab中被标注了不同的属性（比如一个标成NOUN，另一个标成VERB），函数会抛出警告。你可以根据业务需求修改逻辑——比如保留第一个出现的、或者覆盖、或者抛出错误终止合并。
2. 性能优化：如果你的Vocab非常大（比如包含数百万个词），合并过程可能需要几分钟。建议在所有并行进程完全结束后再执行合并，避免中途频繁操作。
3. 提前规避合并需求：如果你的并行任务还没开始，可以考虑在进程启动前先初始化一个全局Vocab，然后通过多进程共享机制（比如multiprocessing.Manager）让所有进程共用这个Vocab。这种方法能避免后续合并，但要注意多进程修改Vocab时的锁开销，适合中小规模的并行任务。

内容的提问来源于stack exchange，提问作者jpp1