Python 3.8+环境中MySQL fetchone()性能大幅下降的原因及解决咨询

测试代码片段 #

import mysql.connector as mdb

db = mdb.connect(   
    host = '<host>',
    user = '<user>',
    passwd = '<password>',
    db = '<schema>')

crsr = db.cursor()

sql = "select * from table_name;"
crsr.execute(sql)

while True:
    row = crsr.fetchone()
    # do something… - 已注释以减少测试干扰
    if row == None:
        break

db.close()

测试场景与环境对比 #

针对同一MySQL 8.0.16数据库中含约37万行数据的表执行上述脚本，不同Miniconda环境下性能差异显著：

• 旧环境（耗时3秒）：

  python=3.6.8
  mysql-connector-python=8.0.16
  

• 新环境（耗时31秒，慢10倍）：

  python=3.9.16
  mysql-connector-python=8.0.33
  

补充测试结果 #

进一步验证发现问题与Python版本强相关：

• 即使在python=3.9.16 + mysql-connector-python=8.0.16的组合下，性能问题依然存在
• Python 3.8环境同样出现性能暴跌
• Python 3.7及以下版本无此问题

核心疑问：Python高版本中fetchone()耗时显著增加的原因是什么？如何解决？

原因 #

性能暴跌的核心根源是Python 3.8+版本与mysql-connector-python的适配逻辑变更：

1. Python 3.7及以下版本中，fetchone()直接从底层缓存结果集中逐行读取，类型转换与封装开销极低；
2. Python 3.8+版本（哪怕搭配旧版mysql-connector-python），驱动为适配Python类型系统的更新，在每行数据的类型转换、结果封装环节引入了额外的逐行开销，数十万行数据累加后，最终导致整体耗时暴涨；
3. 后续版本的mysql-connector-python（如8.0.33）虽修复了部分兼容性问题，但未优化逐行读取的性能，甚至在部分场景下进一步增加了开销。

解决办法 #

方案1：改用批量读取替代逐行fetchone() #

将fetchone()替换为fetchmany(size=N)或fetchall()，通过批量读取减少逐行处理的重复开销，建议根据内存情况设置批量大小（比如1000行）：

crsr.execute(sql)
# 批量读取，每次取1000行
while True:
    rows = crsr.fetchmany(1000)
    if not rows:
        break
    # 处理批量数据
    for row in rows:
        pass

这种方式能将耗时降低至接近Python 3.6环境的水平，因为批量处理大幅减少了类型转换和结果封装的次数。

方案2：切换至其他高性能MySQL驱动 #

若必须保留逐行读取逻辑，可替换为pymysql或mysqlclient（基于C实现的驱动），它们在Python高版本中的逐行读取性能远优于mysql-connector-python：

# 示例：使用pymysql替代
import pymysql

db = pymysql.connect(
    host='<host>',
    user='<user>',
    password='<password>',
    db='<schema>'
)
crsr = db.cursor()
crsr.execute("select * from table_name;")
while True:
    row = crsr.fetchone()
    if not row:
        break
db.close()

方案3：降级Python版本（不推荐） #

若业务场景允许，可将Python版本降级至3.7及以下，配合原mysql-connector-python版本恢复性能，但此方案会错过Python高版本的特性与安全更新。

内容的提问来源于stack exchange，提问作者Aamit