Python多线程性能优化：求最长子串时CPU利用率低的原因及解决方法

阿华AIGC实验室

2026-5-26

为什么多线程处理最长子串时CPU利用率仅40%？怎么最大化算力？

嘿，这个问题我太熟了！你的CPU利用率上不去，核心原因大概率是**Python的GIL（全局解释器锁）**在搞鬼，再加上你用的是threading模块处理CPU密集型任务——这俩组合起来，根本没法让你的多核CPU跑满。

核心原因分析

Python的GIL是一把全局锁，它会限制同一时间只有一个线程能执行Python字节码。哪怕你开了N个线程，它们也只能在单核上轮流调度执行，没法真正利用多核CPU并行处理。而你的任务（用difflib.SequenceMatcher找最长匹配子串）是典型的CPU密集型操作，threading在这里不仅发挥不了多核优势，反而可能因为线程切换的额外开销，让CPU利用率还不如单线程高，更别说跑满了。

除此之外，也可能存在一些次要因素：

线程数量设置不合理：比如你开的线程数远少于CPU核心数，导致有核心处于空闲状态
隐性IO阻塞：如果代码中存在未注意到的IO操作（比如缓慢的数据读取），也会拖慢CPU利用率，但从你的代码片段来看，这不是主要问题

最大化CPU算力的解决方案

1. 替换`threading`为进程池（绕过GIL）

改用multiprocessing模块或者concurrent.futures.ProcessPoolExecutor，因为每个进程都有独立的Python解释器和GIL，能真正实现多核并行。这里给你一个基于ProcessPoolExecutor的优化示例：

from concurrent.futures import ProcessPoolExecutor
import difflib
import pandas as pd
import os

# 重构任务函数，让它接收参数并返回结果（进程池要求函数可序列化）
def calculate_longest_substring(task_args):
    s, t = task_args
    matcher = difflib.SequenceMatcher(None, s, t)
    match_blocks = matcher.get_matching_blocks()
    max_length = max(block.size for block in match_blocks)
    return max_length

# 假设你的数据准备逻辑
df = pd.read_csv("your_data_source.csv")  # 替换成你的数据读取方式
m = len(df)
# 这里需要你根据实际场景补全t的来源（比如另一个字符串列表）
target_strings = [...]  # 你的t集合

# 构造所有待处理的任务对
tasks = [(df.loc[i, 'ocr'], t) for i in range(m) for t in target_strings]

# 初始化进程池，max_workers设为CPU核心数（默认就是os.cpu_count()）
with ProcessPoolExecutor(max_workers=os.cpu_count()) as executor:
    # 并行执行所有任务
    results = list(executor.map(calculate_longest_substring, tasks))

# 把结果整理到score数组（根据你的需求调整）
score = [None] * len(results)
for idx, res in enumerate(results):
    score[idx] = res