Spacy中标点符号的词形还原(Lemma)异常问题咨询
Spacy中标点符号的词形还原(Lemma)异常问题咨询
我现在在用Spacy做一些下游任务,主要是名词短语提取。我的文本里有很多括号,在应用词形还原的时候,发现所有非句末的标点都变成了--,代码和输出如下:
import spacy nlp = spacy.load("de_core_news_sm") doc = nlp("(Das ist ein Test!)") for token in doc: print(f"Text: '{token.text}', Lemma: '{token.lemma_}'")
输出结果:
Text: '(', Lemma: '--' Text: 'Das', Lemma: 'der' Text: 'ist', Lemma: 'sein' Text: 'ein', Lemma: 'ein' Text: 'Test', Lemma: 'Test' Text: '!', Lemma: '--' Text: ')', Lemma: '--'
想请教一下这种情况正常吗?如果正常的话原因是什么?有没有办法保留括号的原文本呢?
我的环境是Spacy 3.7.4,Python 3.11
备注:内容来源于stack exchange,提问作者MERose
相关产品推荐
相关产品推荐

