如何将spaCy识别的GPE/LOC类NER标签添加到pandas数据框新列

索引对齐解决方法 #

你当前的核心问题是没有将NER识别结果和对应推文的主键绑定，原代码全局处理所有文本的doc对象，自然无法匹配原数据框的行索引。推荐按以下步骤实现对齐：

1. 逐行处理原数据框的每条推文，为每条推文单独做NER识别，识别到的多个位置实体可以选择两种存储方式：

• 单条推文对应一行：多个实体用分隔符拼接成字符串，或者直接以列表形式存在单元格，和原数据框索引完全对齐
• 单条识别实体对应一行：保留原推文的id、内容、已知位置，将多个实体拆分为独立行，方便后续按实体维度统计

示例代码 #

import pandas as pd
import spacy

# 加载spaCy模型，替换为你使用的模型即可
nlp = spacy.load("en_core_web_sm")

# 定义提取位置实体的函数
def extract_loc_entities(text):
    doc = nlp(str(text))
    # 仅返回GPE、LOC类的实体文本
    return [e.text for e in doc.ents if e.label_ in ("GPE", "LOC")]

# 原数据框假设为df，列名为id、tweet、location
# 方案1：单推文一行，直接新增列
df["ner识别位置"] = df["tweet"].apply(extract_loc_entities)
# 如果需要字符串格式而非列表，可加以下代码将列表转为顿号分隔的字符串
df["ner识别位置"] = df["ner识别位置"].apply(lambda x: "、".join(x) if x else "")

# 方案2：拆分为实体级的多行数据，方便后续统计
df_entity_level = df.explode("ner识别位置").dropna(subset=["ner识别位置"]).reset_index(drop=True)

后续推荐分析方法 #

• 匹配效果评估：以已知位置为基准，统计NER识别结果的精确率、召回率、F1值，可按实体类型（GPE/LOC）分别统计效果差异
• 实体热度统计：统计所有推文中出现频率最高的TOP N地点，结合推文发布时间维度可分析不同地点的讨论热度变化趋势
• 共现关系分析：统计不同地点实体在同一条推文中共同出现的频次，梳理地点之间的关联关系
• 错误归因分析：将NER识别错误的样本分类（比如同名地点歧义、非地点实体误召回、真实地点漏识别等），可针对性优化NER模型的识别效果

内容的提问来源于stack exchange，提问作者BrumCode