多进程能否降低SQLAlchemy写入延迟？如何优化30万行数据写入速度？

首先明确：SQLAlchemy的单个连接不是线程安全的，不能直接在多线程里共享连接，但可以通过拆分数据分片、每个线程独立使用连接的方式实现并行写入。不过先试试单线程的参数优化，这通常是性价比最高的解决方案：

单线程优化（优先尝试） #

SQLAlchemy配合pyodbc连接SQL Server时，默认的executemany效率极低，开启fast_executemany能直接把写入速度提升数倍到数十倍，再配合合适的chunksize参数：

from sqlalchemy import create_engine
import pandas as pd

# 注意连接字符串用mssql+pyodbc格式，确保用pyodbc驱动
database_con = f'mssql+pyodbc://@{server}/{database}?driver={driver}&TrustServerCertificate=yes'
engine = create_engine(
    database_con,
    fast_executemany=True,  # 核心优化参数
    pool_size=10  # 配置连接池，后续并行写入也能复用
)

# 设置chunksize拆分数据批量写入，避免一次性加载过多数据到内存
df.to_sql(
    name="data",
    con=engine,
    if_exists="append",
    index=False,
    chunksize=10000  # 可根据内存调整，建议5000-20000之间
)

并行写入实现（多线程/多进程） #

如果单线程优化后速度还是达不到要求，可以拆分DataFrame为多个分片，用线程池或进程池并行写入——每个线程/进程必须使用独立的数据库连接，不能共享连接实例：

多线程示例代码 #

from sqlalchemy import create_engine
import pandas as pd
from concurrent.futures import ThreadPoolExecutor

def write_data_chunk(chunk):
    # 每个线程独立创建引擎（或从连接池获取连接）
    engine = create_engine(
        f'mssql+pyodbc://@{server}/{database}?driver={driver}&TrustServerCertificate=yes',
        fast_executemany=True
    )
    chunk.to_sql(
        name="data",
        con=engine,
        if_exists="append",
        index=False,
        chunksize=10000
    )

# 把DataFrame拆分为N个均匀分片，比如拆成10份
split_num = 10
data_chunks = [df[i::split_num] for i in range(split_num)]

# 启动线程池，线程数建议5-10，不要超过数据库最大连接数限制
with ThreadPoolExecutor(max_workers=6) as executor:
    executor.map(write_data_chunk, data_chunks)

并行写入注意事项 #

• 线程/进程数不要设置过高，否则会导致数据库连接过载，反而降低速度，具体看你的SQL Server配置的最大连接数。
• 分片大小尽量均匀，避免某个线程任务过重拖慢整体进度。
• 多进程的话逻辑类似，但进程间内存不共享，大DataFrame会有额外的复制开销，所以多线程更适合这种场景。
• 绝对不要在多个线程间共享同一个SQLAlchemy引擎或连接实例，必须每个线程独立创建。

进阶提速方案 #

• 用SQL Server原生工具：把DataFrame导出为CSV，然后调用bcp命令或BULK INSERT语句导入，这是速度最快的方式，适合超大数据量。
• 临时关闭索引和约束：写入前关闭目标表的非聚集索引、外键约束，写完后再重建，能大幅减少写入时的IO开销（注意要确保数据完整性，写完后记得恢复）。

内容的提问来源于stack exchange，提问作者frank