Python线程/进程失效：大型相似元素列表去重线程无输出

核心问题点 #

1. 线程安全缺失：普通Python列表dubs不是线程安全的，多个线程同时调用append会引发数据竞争，导致元素丢失，最终dubs为空。
2. 相似度判断错误：SequenceMatcher.ratio()返回的是0~1之间的浮点数（代表相似度比例），你写的>40永远为假，只有完全相等的情况会触发匹配，但线程安全问题让这部分结果也存不进去。
3. 冗余计算严重：每个线程遍历整个列表做比较，比如a=0和b=1、a=1和b=0会重复计算，导致计算量翻倍，性能不升反降。
4. 删除元素逻辑错误：直接按索引顺序删除会导致后续元素索引偏移，比如删了索引2，原来的索引3会变成2，再删3就会删错元素。
5. 线程不适合CPU密集型任务：Python的GIL（全局解释器锁）限制了线程在CPU密集型任务中的并行能力，用线程根本没法提升性能，得用多进程。

修复后的代码（多进程版本，兼顾线程安全与性能） #

from multiprocessing import Pool, Manager
from difflib import SequenceMatcher

def find_similar_indices(args):
    jsn, a, threshold = args
    similar_indices = []
    # 只比较b > a的元素，避免重复计算
    for b in range(a + 1, len(jsn)):
        if jsn[a] == jsn[b] or SequenceMatcher(None, jsn[a], jsn[b]).ratio() > threshold:
            similar_indices.append(b)
    return similar_indices

if __name__ == "__main__":
    # 假设这里是你的大型jsn列表
    jsn = ["abc", "abd", "abc", "xyz", "xyx", "123"]
    threshold = 0.4  # 40%相似度阈值
    dubs = []
    
    # 用进程池实现并行计算，收集每个进程的结果
    with Pool() as pool:
        # 构造任务参数，每个任务处理一个a，只比较后续的b
        tasks = [(jsn, a, threshold) for a in range(len(jsn))]
        # 并行执行所有任务，收集相似索引结果
        results = pool.map(find_similar_indices, tasks)
    
    # 合并所有结果并去重
    for res in results:
        dubs.extend(res)
    dubs = list(set(dubs))  # 避免同一个索引被多次标记
    
    # 按从大到小的顺序删除，避免索引偏移
    for idx in sorted(dubs, reverse=True):
        del jsn[idx]
    
    print(jsn)

关键优化说明 #

• 进程安全与并行：用multiprocessing.Pool绕过GIL限制，实现真正的CPU并行计算，通过收集每个进程的返回结果合并，避免了共享列表的线程安全问题。
• 减少冗余计算：每个任务只比较b > a的元素，直接砍掉一半重复计算量。
• 修复相似度阈值：把>40改成>0.4，符合ratio()的返回值范围（0代表完全不同，1代表完全相同）。
• 正确删除元素：先对dubs去重，再按从大到小的顺序删除，确保删除前面元素不会影响后面元素的索引。

额外建议 #

如果你的列表规模极大，还可以做这些优化：

• 先按字符串长度分组，只在同长度的字符串中比较，进一步缩小计算范围。
• 替换相似度算法：用SimHash算法处理大规模文本去重，比SequenceMatcher的效率高一个量级。

内容的提问来源于stack exchange，提问作者redevil