使用SQLAlchemy执行MySQL查询时速度极慢的问题求助

我之前也碰到过一模一样的场景——原生SQL在Workbench秒出结果，用SQLAlchemy跑就慢得离谱，结合你的表规模（500行+150万行Join），大概率是结果集获取方式或者引擎配置的问题，给你几个亲测有效的解决方向：

1. 改用Pandas的read_sql替代手动处理ResultSet #

你现在手动遍历ResultSet转DataFrame的方式效率很低，Pandas的read_sql内部做了批量优化，能大幅减少数据转换和网络交互的开销。直接替换成下面的代码：

import sqlalchemy
import pandas as pd

engine = sqlalchemy.create_engine('mysql+pymysql://root:*****@12.345.67.890:3306/mydb')
script = '''
SELECT t.Name, t.Description, t.abbreviation, p.Date, p.numericaldata1,p.numericaldata2
FROM basicinfo t JOIN detailedinfo p ON (p.Name = t.Name)
'''

# 直接用read_sql读取，自动处理列名和数据转换
df = pd.read_sql(script, engine)

2. 优化SQLAlchemy引擎的fetch配置 #

SQLAlchemy配合pymysql时，默认的fetchsize很小（比如默认是100），这意味着要分上万次从数据库拉取数据，每次网络往返都会耗时。你可以在创建引擎时设置更大的fetchsize，减少网络请求次数：

engine = sqlalchemy.create_engine(
    'mysql+pymysql://root:*****@12.345.67.890:3306/mydb',
    # 设置每次批量拉取10000行数据，可根据内存情况调整
    execution_options={"fetchsize": 10000},
    # 额外的连接优化参数
    connect_args={"charset": "utf8mb4", "connect_timeout": 10}
)

3. 快速排查索引有效性（可选） #

既然Workbench执行快，说明你的SQL本身是高效的，但还是可以确认下basicinfo.Name和detailedinfo.Name这两个Join字段是否有建立索引——虽然概率很低，但如果索引失效，也可能导致SQLAlchemy的执行计划出现差异。

为什么会有这种差异？ #

Workbench默认会一次性拉取所有结果到本地，而SQLAlchemy（配合pymysql）默认是小批量逐行拉取，对于150万行的结果集，这种小批量的方式会产生大量网络交互，自然就慢了。调整fetchsize和用Pandas的批量读取就能解决这个核心问题。

内容的提问来源于stack exchange，提问作者Windstorm1981