单线程Python应用cProfile输出出现queue/threading耗时的排查问询

我正在排查一款Python应用的性能瓶颈，该应用核心功能为读取文本文件数据并通过ODBC直接写入关系型数据库（RDBMS），程序为单线程架构，未使用threading或queue库。但cProfile性能分析输出显示，大部分执行时间消耗在queue.py、builtins.exec和threading.py中，现附上cProfile输出内容，恳请各位提供排查建议。

6617261 function calls (6606203 primitive calls) in 149.445 seconds

   Ordered by: cumulative time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
2445/1461    0.042    0.000  278.930    0.191 queue.py:154(get)
      3/1    0.046    0.015  149.242  149.242 {built-in method builtins.exec}
     2433   36.848    0.015  148.912    0.061 threading.py:302(wait)
      983    0.081    0.000   73.227    0.074 threading.py:616(wait)
  1007188   19.456    0.000   19.567    0.000 functions.py:53(sql_val)
     6002   13.408    0.002   13.408    0.002 {method 'execute' of 'pyodbc.Cursor' objects}
     6001    6.708    0.001    6.708    0.001 {method 'commit' of 'pyodbc.Cursor' objects}
       19    0.001    0.000    3.833    0.202 pydevd_net_command.py:102(send)
    29609    0.108    0.000    2.874    0.000 {built-in method strptime}
    29609    0.417    0.000    2.766    0.000 _strptime.py:552(_strptime_datetime)
    29609    1.729    0.000    2.349    0.000 _strptime.py:293(_strptime)
    25676    0.287    0.000    0.740    0.000 locale.py:250(currency)
    29611    0.058    0.000    0.437    0.000 _strptime.py:26(_getlang)
    29611    0.086    0.000    0.379    0.000 locale.py:580(getlocale)
  2015091    0.361    0.000    0.361    0.000 {method 'append' of 'list' objects}
    51352    0.034    0.000    0.316    0.000 locale.py:108(localeconv)

排查建议 #

• 追踪隐式线程/队列来源：你没手动引入threading或queue，但pyodbc驱动、默认启用的连接池或其他依赖库可能在底层使用了线程机制。可以尝试关闭pyodbc连接池（设置pooling=False），重新运行性能分析，观察threading/queue相关耗时是否下降。
• 定位wait调用触发路径：threading.py的wait方法占用大量CPU时间，结合queue.py的get调用，说明存在内部队列的阻塞等待。用py-spy这类采样分析工具生成调用火焰图，能直观看到这些wait调用的触发模块，定位瓶颈根源。
• 优化数据库写入模式：当前单条execute+单条commit的模式会产生大量数据库往返开销。改成批量写入：攒够一批数据（比如1000条）后用executemany批量执行，再统一commit，可大幅减少IO等待时间，提升写入效率。
• 降低日期解析开销：strptime相关调用耗时接近3秒，可通过预编译日期格式（利用datetime.datetime.strptime的格式缓存）或替换为dateutil.parser等更高效的解析库，减少重复解析的性能损耗。
• 排除调试工具干扰：cProfile结果中出现pydevd_net_command.py，说明你可能在调试环境下运行程序。调试工具会引入额外线程和性能开销，建议在无调试的生产模式下重新执行性能测试，确保数据准确性。

内容的提问来源于stack exchange，提问作者WV_Mapper