如何高效将SQLAlchemy Core执行结果加载到Pandas DataFrame？

针对你遇到的pandas.read_sql速度慢、但SQLAlchemy execute执行快的问题，以下是几个适配动态组装SQLAlchemy Select对象的最优高效加载方案：

方案1：SQLAlchemy 1.4+ 原生to_dataframe()方法 #

这是最简洁高效的方案，SQLAlchemy 1.4及以上版本的Result对象内置了to_dataframe()方法，底层做了针对性优化，直接将结果集转换为DataFrame，完全跳过pandas.read_sql的额外冗余处理逻辑。

from sqlalchemy import create_engine, select
import pandas as pd

# 初始化数据库引擎与连接
engine = create_engine("your_db_connection_string")
with engine.connect() as conn:
    # 动态组装的Select查询对象（示例：按业务逻辑拼接条件）
    select_stmt = select(your_table).where(...)
    # 执行查询并直接转换为DataFrame
    result = conn.execute(select_stmt)
    df = result.to_dataframe()

方案2：分批fetchmany加载 + from_records #

如果你的SQLAlchemy版本低于1.4，可采用分批读取的方式控制内存占用，同时用pandas.DataFrame.from_records实现高效数据转换：

from sqlalchemy import create_engine, select
import pandas as pd

engine = create_engine("your_db_connection_string")
batch_size = 100000  # 根据可用内存调整批次大小

with engine.connect() as conn:
    select_stmt = select(your_table).where(...)
    result = conn.execute(select_stmt)
    
    # 分批读取并拼接DataFrame
    df_list = []
    while True:
        batch = result.fetchmany(batch_size)
        if not batch:
            break
        # 用from_records转换批次数据，速度远快于逐行处理
        df_batch = pd.DataFrame.from_records(batch, columns=result.keys())
        df_list.append(df_batch)
    
    df = pd.concat(df_list, ignore_index=True)

方案3：生成器+concat优化内存峰值 #

若内存资源紧张，可通过生成器返回批次DataFrame，再一次性拼接，进一步降低内存占用峰值：

def fetch_batches(result, batch_size=100000):
    while True:
        batch = result.fetchmany(batch_size)
        if not batch:
            break
        yield pd.DataFrame.from_records(batch, columns=result.keys())

# 使用示例
with engine.connect() as conn:
    result = conn.execute(select_stmt)
    df = pd.concat(fetch_batches(result), ignore_index=True)

为什么pandas.read_sql速度慢？ #

pandas.read_sql在处理SQLAlchemy查询时，会额外执行多层类型推断、结果集适配逻辑，而直接使用SQLAlchemy的execute结果转换，跳过了这些冗余步骤，大数据量下性能差异尤为显著。

注意事项 #

• 批次大小需根据可用内存调整：过大可能引发内存溢出，过小会增加IO交互次数。
• 版本适配：to_dataframe()需要SQLAlchemy 1.4+版本，旧版本优先选择方案2或3。

内容的提问来源于stack exchange，提问作者DisplayName