如何保存Spacy预处理结果以复用？论文集相似度计算场景

我来帮你解决这个问题——spaCy的Doc对象确实包含了所有预处理后的信息（比如分词、词性标注、依存关系、词向量等），只是默认打印时会显示文本内容，让你误以为只保存了输入文本。下面分两部分给你详细解决方案：

一、正确保存spaCy预处理后的Doc对象 #

spaCy提供了两种可靠的序列化方式，帮你避免重复执行耗时的预处理操作：

方法1：使用spaCy原生的to_bytes()和from_bytes()（推荐） #

这种方式是spaCy官方推荐的，兼容性更好，不受pickle版本或spaCy小版本更新的影响：

import spacy

# 加载你的spaCy模型（替换成你实际使用的模型，比如en_core_web_lg或自定义模型）
nlp = spacy.load("en_core_web_sm")

# 预处理文本得到完整的Doc对象
text = "这里是你的论文文本内容"
doc = nlp(text)

# 将Doc序列化为字节并保存到本地文件
with open("processed_doc.bin", "wb") as f:
    f.write(doc.to_bytes())

# 后续需要使用时，从文件加载并恢复Doc对象
with open("processed_doc.bin", "rb") as f:
    doc_bytes = f.read()
# 先创建空Doc对象，再从字节数据中恢复所有预处理信息
loaded_doc = nlp.make_doc("")
loaded_doc.from_bytes(doc_bytes)

# 验证：加载后的Doc包含所有预处理结果
print(loaded_doc[0].pos_)  # 打印第一个词的词性标注
print(loaded_doc.vector)    # 打印文档的向量表示

方法2：使用Pickle序列化 #

如果你的spaCy版本长期稳定，也可以用pickle快速序列化，但要注意跨版本兼容性：

import pickle

# 保存Doc对象到文件
with open("processed_doc.pkl", "wb") as f:
    pickle.dump(doc, f)

# 从文件加载已保存的Doc对象
with open("processed_doc.pkl", "rb") as f:
    loaded_doc = pickle.load(f)

二、针对大量论文的增量相似度计算方案 #

针对你提到的“新增论文后仅计算与已有文档的相似度”场景，推荐以下高效流程：

1. 建立文档存储与索引机制

   • 为每篇论文分配唯一ID（比如文件名哈希、自增编号）
   • 将每篇论文的预处理Doc对象（或仅文档向量，节省存储空间）按ID命名保存（比如docs/paper_123.bin）
   • 维护一个JSON格式的索引文件，记录所有已处理论文的ID和对应的存储路径：

     {
       "paper_1": "docs/paper_1.bin",
       "paper_2": "docs/paper_2.bin",
       ...
     }
     

2. 新增论文时的增量计算步骤

   • 预处理新论文得到new_doc，并保存到你的存储目录
   • 更新索引文件，添加新论文的ID和路径
   • 遍历索引中已有的所有论文，加载它们的Doc对象（或向量），计算与new_doc的相似度：

     import json
     
     # 加载已有的文档索引
     with open("doc_index.json", "r") as f:
         doc_index = json.load(f)
     
     # 预处理新增的论文文本
     new_text = "新增的论文文本内容"
     new_doc = nlp(new_text)
     
     # 保存新文档到本地
     new_doc_id = "paper_6"  # 假设是第6篇论文
     with open(f"docs/{new_doc_id}.bin", "wb") as f:
         f.write(new_doc.to_bytes())
     
     # 更新索引文件
     doc_index[new_doc_id] = f"docs/{new_doc_id}.bin"
     with open("doc_index.json", "w") as f:
         json.dump(doc_index, f)
     
     # 计算新文档与所有已有文档的相似度
     for doc_id, doc_path in doc_index.items():
         if doc_id == new_doc_id:
             continue
         # 加载已有文档的预处理结果
         with open(doc_path, "rb") as f:
             doc_bytes = f.read()
         existing_doc = nlp.make_doc("")
         existing_doc.from_bytes(doc_bytes)
         # 计算并打印相似度
         similarity_score = new_doc.similarity(existing_doc)
         print(f"新论文与{doc_id}的相似度：{similarity_score:.4f}")
     

3. 优化建议：仅保存文档向量
   如果你的场景只需要计算文档相似度，不需要其他预处理信息（比如分词、词性），可以只保存文档向量doc.vector，这样存储空间会小很多，加载速度也更快：

   # 保存文档向量
   with open("paper_1_vector.pkl", "wb") as f:
       pickle.dump(doc.vector, f)
   
   # 加载向量并计算相似度
   with open("paper_1_vector.pkl", "rb") as f:
       existing_vector = pickle.load(f)
   similarity_score = new_doc.similarity(existing_vector)
   

关键说明 #

你之前执行docToSave = nlp(textToProcess)得到的对象确实包含了所有预处理内容，只是默认打印时会输出文本。你可以通过访问docToSave.tokens、docToSave.pos_、docToSave.vector等属性来确认这些信息的存在。

内容的提问来源于stack exchange，提问作者juanbits