如何向PyTextRank输入百万级文档实现全局关键词抽取

结论先行 #

绝对不要将数百万份文档拼接为单个字符串传入nlp(text)处理，该方案存在内存溢出、文本截断、处理效率暴跌等致命问题，完全不具备可操作性。你可以通过分文档处理+全局数据聚合的方式实现需求，效率和稳定性高很多。 #

合理实现方案 #

首先需要澄清认知误区：PyTextRank默认运行的是单文档级别的TextRank计算，你需要的跨全文档统一关联网络，核心是全量短语的全局频次、共现关联、权重统计，这些数据完全不需要在单次nlp调用中完成计算，可以通过多步分治的方式实现。

方案1：单文档处理增量聚合（最易实现，适合绝大多数场景） #

这个方案不需要修改PyTextRank的底层逻辑，只需要在原有示例代码基础上增加全局统计逻辑即可：

• 遍历所有文档，每份文档单独调用nlp(text)处理，也可以直接用nlp.pipe批量加速处理（nlp.pipe是单文档批量处理接口，不会影响你后续做全局数据聚合，和你的需求没有冲突），拿到该文档的短语排名、出现次数、共现关系
• 内存中维护两个全局数据结构（数据量过大也可以落地到KV存储/关系型数据库）：
  • 短语全局属性表：记录每个标准化后的短语总出现次数、所有单文档排名加权求和值
  • 短语关联表：记录每对短语在同一文档/同一段落内共同出现的次数，作为关联网络的边权重
• 所有文档处理完成后，直接基于上述两个全局表构建统一关联网络，还可以用全局权重重新校准每个短语的最终排名
  核心代码参考：

from collections import defaultdict
import pytextrank
import spacy

# 初始化模型
nlp = spacy.load("en_core_web_sm")
nlp.add_pipe("textrank")

# 全局统计结构
phrase_global_stats = defaultdict(lambda: {"count": 0, "total_rank": 0.0})
phrase_cooccur = defaultdict(int)

# 遍历所有文档，your_docs为500万份文档的迭代器
for doc in nlp.pipe(your_docs, n_process=8, batch_size=200):
    # 收集当前文档的短语列表
    doc_phrases = []
    for phrase in doc._.phrases:
        # 短语标准化，可按需增加同义归一化、停用词过滤逻辑
        norm_text = phrase.text.lower().strip()
        doc_phrases.append(norm_text)
        # 更新全局短语属性统计
        phrase_global_stats[norm_text]["count"] += phrase.count
        phrase_global_stats[norm_text]["total_rank"] += phrase.rank
    # 更新当前文档内的短语共现关系
    for i in range(len(doc_phrases)):
        for j in range(i+1, len(doc_phrases)):
            # 统一边顺序避免重复统计
            pair = tuple(sorted([doc_phrases[i], doc_phrases[j]]))
            phrase_cooccur[pair] += 1

方案2：全局共现矩阵跑TextRank（适合需要全语料级TextRank的场景） #

如果你需要的是基于全语料共现矩阵计算的TextRank排名，而非单文档排名聚合，可以用这个方案：

• 第一步：分批次遍历所有文档，抽取出所有候选短语，做标准化后生成全局短语词典，给每个短语分配唯一ID，过滤掉低频短语减少计算量
• 第二步：再次遍历所有文档，统计每个文档内的短语共现对，更新全局共现矩阵
• 第三步：自行实现TextRank迭代逻辑（仅需几十行代码），直接基于全局共现矩阵计算所有短语的全局排名，不需要再调用spaCy/PyTextRank接口，效率比传入超大字符串高几个数量级

为什么不建议拼接大字符串 #

spaCy处理文本有默认长度限制（默认最大为100万字符，超过会主动报错或自动截断），500万份文档拼接后的文本长度至少是几十亿字符级别，内存消耗会达到几十GB甚至上百GB，分词、依存句法分析的耗时会指数级上升，完全没有可操作性。

内容的提问来源于stack exchange，提问作者E.K.