如何使用NLTK词性标注结合Pandas DataFrame替换词汇为POS标签?
解决方法
你只需要从词性标注的元组列表里提取每个元组的第二个元素(也就是词性标签),再用空格把它们拼接起来就可以了。下面分两种场景给你具体实现:
单个句子的处理
假设你已经得到了单个句子的词性标注结果:
pos_tags = [('DAW1', 'NNP'), ('was', 'VBD'), ('further', 'RBR'), ('investigated', 'VBN'), ('by', 'IN')]
方法1:列表推导式 + join
这是最直观的写法,可读性强:
tag_string = ' '.join([tag for word, tag in pos_tags]) print(tag_string) # 输出: NNP VBD RBR VBN IN
方法2:map函数 + join
如果你喜欢更简洁的写法,可以用map配合匿名函数提取词性:
tag_string = ' '.join(map(lambda item: item[1], pos_tags))
批量处理DataFrame列
因为你是在处理整个数据集的POSTags列,直接用apply把上面的逻辑批量应用即可:
# 生成新列存储空格分隔的词性标签 data['POSTags_String'] = data['POSTags'].apply(lambda x: ' '.join([tag for word, tag in x]))
这样处理后,data['POSTags_String']里的每一行就是你需要的空格分隔的词性标签字符串了。
内容的提问来源于stack exchange,提问作者jurek
相关产品推荐
相关产品推荐

