如何对替换后的spacy.tokens.token.Token进行逆分词？Spacy实体拼接报错问题求助

咱们来一步步拆解你遇到的问题，然后给出针对性的解决方案：

1. 报错核心原因：Token对象无法直接拼接字符串 #

你碰到的TypeError: can only concatenate str (not "spacy.tokens.token.Token") to str，本质是Spacy的Token对象不是字符串类型，直接加到字符串里会触发类型不匹配错误。必须先把Token转换成字符串形式，比如用token.text或者str(token)。

2. 实体替换逻辑顺序错误 #

你当前的代码是先把原Token加到newstr里，再判断是否要替换，这会导致原地点被保留，替换后的城市根本没加入到结果里。得调整顺序：先判断Token是否需要替换，再把处理后的内容加到结果中。

3. 关于逆分词（还原自然字符串） #

如果手动拼接Token文本，很容易出现标点前多空格的问题（比如London .）。Spacy提供了更优雅的解决方案：用spacy.util.join_words()方法，它会根据词汇规则自动处理空格，生成符合自然语言格式的字符串。

修正后的完整代码 #

from pprint import pprint
import spacy
import random
from spacy.util import join_words

# 注意：不要用list当变量名，会覆盖Python内置的list类型
city_list = ['Delhi','Mumbai','Bangalore','Agra','Jaipur','Noida','Lucknow','Bombay','Jaipur','Indore','Chandigarh','Guwahati','Ghaziabad','Faridabad', 'Pune','Chennai','kolkata','Hyderabad','Goa']
nlp = spacy.load('en_core_web_sm')
sentence = '''Can You deliver pizza to London.'''
doc = nlp(sentence)

# 先打印实体识别结果，方便调试
pprint([(X, X.ent_iob_, X.ent_type_) for X in doc])

processed_tokens = []
for token in doc:
    if token.ent_type_ == 'GPE':
        # 处理GPE类型的地点实体
        if token.ent_iob_ == 'B':
            # 替换为随机城市
            processed_tokens.append(random.choice(city_list))
        # 如果是多词地点的后续Token（I标签），可根据需求选择跳过或合并
        # elif token.ent_iob_ == 'I':
        #     processed_tokens.append('')
    else:
        # 非实体Token直接保留原文本
        processed_tokens.append(token.text)

# 用Spacy的工具做逆分词，自动处理空格和标点格式
new_str = join_words(processed_tokens, doc.vocab)

print("\n替换后的字符串：")
pprint(new_str)

# 将新字符串追加到文件
with open('output.txt', 'a', encoding='utf-8') as f:
    f.write(new_str + '\n')

额外补充：处理多Token地点（如New York） #

如果你的文本中有像New York这样的多词地点（由B-GPE和I-GPE标签组成），可以调整逻辑先合并连续的GPE实体，再整体替换：

processed_tokens = []
i = 0
while i < len(doc):
    token = doc[i]
    if token.ent_type_ == 'GPE' and token.ent_iob_ == 'B':
        # 收集连续的GPE实体
        gpe_group = [token]
        i += 1
        while i < len(doc) and doc[i].ent_type_ == 'GPE' and doc[i].ent_iob_ == 'I':
            gpe_group.append(doc[i])
            i += 1
        # 替换为随机城市
        processed_tokens.append(random.choice(city_list))
    else:
        processed_tokens.append(token.text)
        i += 1

new_str = join_words(processed_tokens, doc.vocab)

这样就能完美处理多词地点的替换需求了。

内容的提问来源于stack exchange，提问作者SHAHID NAGRA