You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Spacy中标点符号的词形还原(Lemma)异常问题咨询

Spacy中标点符号的词形还原(Lemma)异常问题咨询

我现在在用Spacy做一些下游任务,主要是名词短语提取。我的文本里有很多括号,在应用词形还原的时候,发现所有非句末的标点都变成了--,代码和输出如下:

import spacy

nlp = spacy.load("de_core_news_sm")
doc = nlp("(Das ist ein Test!)")
for token in doc:
    print(f"Text: '{token.text}', Lemma: '{token.lemma_}'")

输出结果:

Text: '(', Lemma: '--'
Text: 'Das', Lemma: 'der'
Text: 'ist', Lemma: 'sein'
Text: 'ein', Lemma: 'ein'
Text: 'Test', Lemma: 'Test'
Text: '!', Lemma: '--'
Text: ')', Lemma: '--'

想请教一下这种情况正常吗?如果正常的话原因是什么?有没有办法保留括号的原文本呢?

我的环境是Spacy 3.7.4,Python 3.11

备注:内容来源于stack exchange,提问作者MERose

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.14 12:32:59