如何用Python移除corpus中的人名?有无英文人名存储Python库?
主题建模语料移除人名的可落地方案
内置英文人名存储的Python库
names库:无冗余依赖的轻量人名数据集工具,内置5000余个常见英文名、2000余个常见英文姓氏,可直接导出全量人名列表用于静态匹配,安装后无需额外爬取整理数据。us-names-dataset库:内置人口普查维度的统计级人名数据集,覆盖不同年代的高频、小众英文人名,人名覆盖率高于names库,静态匹配的漏判率更低。
高精度低误判的人名移除实现思路
静态词表存在固有缺陷:无法识别未收录的小众人名,也容易把和人名同形的普通词汇(如June、Spring)误判为人名删除,针对主题建模的语料处理需求,可结合命名实体识别思路实现更可靠的过滤:
基于预训练NER的批量过滤
直接用spaCy的预训练英文NER模型,定位文本中实体标签为PERSON的片段,结合上下文语义判断人名边界,相比静态词表,漏判、误判概率都更低,批量处理常规规模语料的效率也足够。
适配你给出的示例的可运行代码:
import spacy # 加载spaCy轻量英文预训练模型 nlp = spacy.load("en_core_web_sm") def remove_person_from_corpus(corpus: list) -> list: cleaned_corpus = [] # 批量处理文本降低运行耗时 for doc in nlp.pipe(corpus, batch_size=100): # 跳过属于PERSON实体的所有token remain_tokens = [token.text for token in doc if token.ent_type_ != "PERSON"] cleaned_corpus.append(" ".join(remain_tokens)) return cleaned_corpus # 你的示例语料 texts = ['Melissa\'s home was clean and spacious. I would love to visit again soon.','Kevin was nice and Kevin\'s home had a huge parking spaces.'] cleaned_result = remove_person_from_corpus(texts)
小优化提示:上述逻辑过滤人名后,可能会残留紧邻人名的's所有格后缀,如果这类冗余字符影响后续主题建模的词频统计,可以在过滤规则中增加对紧邻被移除人名的's标记的匹配逻辑,将这类无关标记一并清除。
静态词表加速版方案
如果语料规模极大、对处理速度要求极高,无法加载NER模型,可以先用上述人名库的静态词表做初步匹配,再增加上下文校验规则——仅当匹配到的大写词汇位于句首、且句法结构符合人名的特征(如后接谓语动词、被形容词修饰)时,才判定为人名执行移除,最大程度降低静态匹配的误删概率。
内容的提问来源于stack exchange,提问作者Todd
相关产品推荐
相关产品推荐

