如何将单文件Spacy NER实体占比计算逻辑批量应用于目录文本？

核心思路 #

把单文件中验证过的spaCy NER逻辑，直接替换到批量处理的计算函数中，确保每一行文本的处理逻辑和单文件完全一致。

步骤1：确认单文件正确逻辑的核心点 #

你的单文件代码能得到正确结果，核心应该包含这几个环节：

• 加载spaCy预训练NER模型（如en_core_web_sm）
• 用模型处理文本生成Doc对象
• 直接通过doc.ents获取所有命名实体并统计数量
• 过滤掉停用词、标点、空白字符后统计有效单词数
• 计算「实体数/有效单词数」的占比（处理除数为0的边界情况）

步骤2：修改批量处理的Specificity函数 #

把原来错误的计算逻辑替换为上述正确逻辑，同时提前加载模型避免重复加载浪费资源：

import spacy

# 全局加载spaCy模型，只加载一次
nlp = spacy.load("en_core_web_sm")

def Specificity(text):
    # 处理空文本或空白文本
    if not text.strip():
        return 0.0
    
    doc = nlp(text)
    # 统计命名实体总数
    entity_count = len(doc.ents)
    # 统计有效单词：排除停用词、标点、空白字符
    valid_word_count = len([
        token for token in doc 
        if not token.is_stop and not token.is_punct and not token.is_space
    ])
    
    # 避免除以0的错误
    if valid_word_count == 0:
        return 0.0
    
    return round(entity_count / valid_word_count, 4)  # 保留4位小数方便查看

步骤3：整合到批量处理流程 #

用你已有的read_txt_files函数读取目录下的文本文件生成DataFrame，然后将修改后的Specificity函数应用到文本列上：

# 读取目录下所有文本文件生成DataFrame（假设返回的DataFrame包含'text'列存储文件内容）
text_df = read_txt_files("目标文本目录路径")

# 对每行文本计算NER占比，生成新列
text_df["ner_ratio"] = text_df["text"].apply(Specificity)

# 输出结果，比如保存到CSV或直接打印
print(text_df[["文件名", "ner_ratio"]])  # 假设你的DataFrame有「文件名」列
text_df.to_csv("ner占比结果.csv", index=False)

错误原因说明 #

你之前的批量代码结果偏低，大概率是这两个问题之一：

• 统计有效单词时没有过滤停用词、标点，导致分母（有效单词数）被无意义字符放大，占比被拉低
• 统计命名实体时逻辑错误（比如只统计了特定类型的实体，或者手动遍历token判断实体时漏判），导致分子（实体数）被低估

替换后的逻辑完全复用单文件的验证逻辑，就能得到和单文件一致的正确结果。

内容的提问来源于stack exchange，提问作者Limps