遍历列表删相似元素触发IndexError: list assignment index out of range问题

• 索引不匹配：你用headlines_copy.index(headline)获取的是元素在原始拷贝列表中的索引，但headlines列表在循环中不断被删除元素，长度持续缩短。当原拷贝的索引值大于当前headlines的长度时，就会触发索引越界错误。
• 重复元素的索引错误：如果headlines中有重复标题，index()方法只会返回第一个匹配元素的索引，这会导致你误删其他位置的重复元素，甚至在后续循环中因为元素已被删除，再次调用index()时可能返回错误索引，加剧越界问题。
• 循环逻辑冗余：嵌套遍历headlines_copy会重复对比同一对标题（比如先对比A和B，再对比B和A），既浪费性能，也可能导致同一元素被多次尝试删除，进一步引发索引混乱。

方法1：基于原始索引标记待删除项 #

先记录所有需要删除的元素的原始索引，最后批量删除（注意要从后往前删，避免前面删除导致后面索引偏移）：

# Loop through headlines and remove over 50% similar ones
headlines = listHeadlines()
print(len(headlines), headlines)

# 记录需要删除的原始索引
to_remove = set()
# 遍历所有标题对，只对比i<j的情况，避免重复检查
for i in range(len(headlines)):
    if i in to_remove:
        continue
    headline_i = headlines[i]
    for j in range(i+1, len(headlines)):
        if j in to_remove:
            continue
        headline_j = headlines[j]
        if areStringsSimilar(headline_i, headline_j):
            to_remove.add(j)

# 从后往前删除，避免索引偏移
for idx in sorted(to_remove, reverse=True):
    del headlines[idx]

print(len(headlines), headlines)

方法2：直接构建保留列表（更简洁） #

遍历标题，只保留与已保留列表中所有标题相似度都低于50%的项：

# Loop through headlines and remove over 50% similar ones
headlines = listHeadlines()
print(len(headlines), headlines)

unique_headlines = []
for headline in headlines:
    # 检查当前标题是否和已保留的所有标题都不相似
    if not any(areStringsSimilar(h, headline) for h in unique_headlines):
        unique_headlines.append(headline)

headlines = unique_headlines
print(len(headlines), headlines)

关键优化点 #

• 避免在遍历过程中直接修改原列表，改用标记或构建新列表的方式，彻底解决索引偏移问题。
• 减少重复对比：方法1中只对比i<j的标题对，方法2中只和已保留的标题对比，都能大幅降低计算量。

内容的提问来源于stack exchange，提问作者n0te