You need to enable JavaScript to run this app. 如何用Python移除corpus中的人名?有无英文人名存储Python库?
优惠活动
大模型
产品
解决方案
定价
更多

如何用Python移除corpus中的人名?有无英文人名存储Python库?

主题建模语料移除人名的可落地方案

内置英文人名存储的Python库

  • names 库:无冗余依赖的轻量人名数据集工具,内置5000余个常见英文名、2000余个常见英文姓氏,可直接导出全量人名列表用于静态匹配,安装后无需额外爬取整理数据。
  • us-names-dataset 库:内置人口普查维度的统计级人名数据集,覆盖不同年代的高频、小众英文人名,人名覆盖率高于names库,静态匹配的漏判率更低。

高精度低误判的人名移除实现思路

静态词表存在固有缺陷:无法识别未收录的小众人名,也容易把和人名同形的普通词汇(如June、Spring)误判为人名删除,针对主题建模的语料处理需求,可结合命名实体识别思路实现更可靠的过滤:

基于预训练NER的批量过滤

直接用spaCy的预训练英文NER模型,定位文本中实体标签为PERSON的片段,结合上下文语义判断人名边界,相比静态词表,漏判、误判概率都更低,批量处理常规规模语料的效率也足够。
适配你给出的示例的可运行代码:

import spacy
# 加载spaCy轻量英文预训练模型
nlp = spacy.load("en_core_web_sm")

def remove_person_from_corpus(corpus: list) -> list:
    cleaned_corpus = []
    # 批量处理文本降低运行耗时
    for doc in nlp.pipe(corpus, batch_size=100):
        # 跳过属于PERSON实体的所有token
        remain_tokens = [token.text for token in doc if token.ent_type_ != "PERSON"]
        cleaned_corpus.append(" ".join(remain_tokens))
    return cleaned_corpus

# 你的示例语料
texts = ['Melissa\'s home was clean and spacious. I would love to visit again soon.','Kevin was nice and Kevin\'s home had a huge parking spaces.']
cleaned_result = remove_person_from_corpus(texts)

小优化提示:上述逻辑过滤人名后,可能会残留紧邻人名的's所有格后缀,如果这类冗余字符影响后续主题建模的词频统计,可以在过滤规则中增加对紧邻被移除人名的's标记的匹配逻辑,将这类无关标记一并清除。

静态词表加速版方案

如果语料规模极大、对处理速度要求极高,无法加载NER模型,可以先用上述人名库的静态词表做初步匹配,再增加上下文校验规则——仅当匹配到的大写词汇位于句首、且句法结构符合人名的特征(如后接谓语动词、被形容词修饰)时,才判定为人名执行移除,最大程度降低静态匹配的误删概率。

内容的提问来源于stack exchange,提问作者Todd

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.18 17:06:06