Python使用threading模块搜索大文件性能低下问题咨询

根因分析 #

你遇到的性能瓶颈核心是Python全局解释器锁（GIL）的限制：当前代码的字符串生成、子串匹配都属于CPU密集型操作，而threading模块实现的线程受GIL约束，同一时间只能有一个线程执行Python字节码，因此增加线程不会提升总吞吐量，只会分摊单线程的处理能力，CPU占用也始终无法跑满。

可行优化方案 #

• 方案1：用多进程替代多线程绕开GIL #

  采用multiprocessing模块创建多进程，每个进程拥有独立的Python解释器和GIL，可充分利用多核CPU资源，6核环境下理论可获得接近6倍的单线程性能提升。
  参考代码示例：

  import multiprocessing
  
  text_file = 'C:/Work/text_file.csv'
  
  def compute(process_num, file_read):
      for i in range(100000):
          # 此处替换为你的字符串生成逻辑
          gen_string = <generation>
          if gen_string in file_read:
              print(f'PROCESS {process_num} SUCCESS')
  
  if __name__ == '__main__':
      with open(text_file, 'rt', encoding="utf-8") as f:
          file_read = f.read()
      # 可根据核心数调整进程数，建议设置为物理核心数
      process_count = 6
      processes = []
      for i in range(process_count):
          p = multiprocessing.Process(target=compute, args=(i+1, file_read))
          processes.append(p)
          p.start()
      for p in processes:
          p.join()
  

  注：Windows环境下多进程会复制父进程的内存空间，1GB的文本内容复制开销完全在16GB内存的承受范围内，无需额外优化。

• 方案2：优化匹配逻辑降低计算复杂度 #

  你当前使用gen_string in file_read的子串匹配时间复杂度为O(N)（N为1GB文本的长度），可根据匹配场景优化：
  • 若为整行精确匹配：提前将文本的每一行存入set结构，后续查找时间复杂度直接降到O(1)，性能提升可达几十上百倍。
  • 若为任意子串匹配：提前为大文本构建AC自动机索引，预处理完成后每次匹配的时间复杂度仅和生成的字符串长度相关，和原文本大小无关。

• 方案3：优化字符串生成逻辑 #

  将字符串生成逻辑中可复用的计算提到循环外部，避免每次循环重复计算；性能要求极高的场景可采用Cython、Numba等工具将生成逻辑编译为机器码，执行效率远高于纯Python代码。

• 方案4：使用释放GIL的底层库实现核心逻辑 #

  若仍想使用多线程，可将核心计算逻辑替换为自带GIL释放的第三方库实现：比如用预编译的正则表达式做匹配、用pandas的字符串方法做批量检索，这些库的底层C实现会主动释放GIL，多线程可以跑满CPU资源。

内容的提问来源于stack exchange，提问作者Alexander