如何在长字符串中替换多子串并动态更新索引？

问题背景 #

给定原始字符串：

"Jacob went to the park to play"

BERT NER模型输出的子词实体识别结果（子词拆分覆盖"Jacob"）：

ents = [
    {'word_piece':'##Ja','start':0,'end':2,'tag':'B-PER'},
    {'word_piece':'##co','start':2,'end':4,'tag':'B-PER'},
    {'word_piece':'##b','start':4,'end':5,'tag':'I-PER'}
]

需要将原字符串中对应子词的位置替换为标签，最终得到：

"B-PER B-PER I-PER went to the park to play"

原代码问题分析 #

原代码的偏移量计算逻辑完全错误：

• start = i*7 + eg['start']无合理依据，且未考虑字符串替换后长度变化的影响
• len(eg['start']-eg['end'])计算的是负数长度，逻辑矛盾
• 每次替换字符串后，原索引失效，导致后续偏移混乱

正确实现方案 #

针对连续实体的简化实现 #

因为所有子词连续覆盖原字符串的"Jacob"部分，可直接提取实体标签拼接，再加上剩余内容：

sent = "Jacob went to the park to play"
ents = [
    {'word_piece':'##Ja','start':0,'end':2,'tag':'B-PER'},
    {'word_piece':'##co','start':2,'end':4,'tag':'B-PER'},
    {'word_piece':'##b','start':4,'end':5,'tag':'I-PER'}
]

# 拼接所有实体标签，加上原字符串中实体之后的剩余部分
result = ' '.join([ent['tag'] for ent in ents]) + sent[ents[-1]['end']:]
print(result)

输出结果：

"B-PER B-PER I-PER went to the park to play"

通用实现（支持非连续实体） #

如果存在多个不连续的实体，可通过遍历实体区间，拼接非实体部分和标签：

sent = "Jacob went to the park to play"
ents = [
    {'word_piece':'##Ja','start':0,'end':2,'tag':'B-PER'},
    {'word_piece':'##co','start':2,'end':4,'tag':'B-PER'},
    {'word_piece':'##b','start':4,'end':5,'tag':'I-PER'}
]

# 确保实体按起始位置排序
ents_sorted = sorted(ents, key=lambda x: x['start'])

fragments = []
prev_end = 0

for ent in ents_sorted:
    # 添加实体前的非实体内容
    fragments.append(sent[prev_end:ent['start']])
    # 添加当前实体标签
    fragments.append(ent['tag'])
    prev_end = ent['end']

# 添加最后一个实体后的剩余内容
fragments.append(sent[prev_end:])

# 过滤空内容并拼接，避免多余空格
result = ' '.join([f.strip() for f in fragments if f.strip()])
print(result)

输出结果与目标一致。

内容的提问来源于stack exchange，提问作者the_herpe