SQLAlchemy批量插入批次过多能否避免？Oracle如何调大插入批次？

嘿，这个场景我太熟悉了！当初用SQLAlchemy往Oracle导大量数据时，默认8条一批的速度简直让人抓狂，好在咱们有办法调整批次大小，直接解决这个问题。

方法一：直接指定batch_size参数 #

SQLAlchemy的bulk_insert_mappings和bulk_save_objects方法本身就支持传入batch_size参数，你只需要在调用时明确设置你想要的批次大小（比如100）就行：

from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
from your_models import MyOracleModel

# 初始化引擎和会话
engine = create_engine("oracle+cx_oracle://user:pass@host:port/service_name")
Session = sessionmaker(bind=engine)
session = Session()

# 假设你有大量待插入的数据映射
data_mappings = [{"col1": val1, "col2": val2} for ...]

# 直接设置batch_size为100，替换默认的8条批次
session.bulk_insert_mappings(MyOracleModel, data_mappings, batch_size=100)

# 提交事务完成插入
session.commit()
session.close()

这个参数会直接控制每一批次插入的行数，只要不超过Oracle对INSERT ALL语句的行数限制（通常是1000行，不同版本可能略有差异），就可以正常运行。

为什么默认是8条？ #

SQLAlchemy的Oracle方言早期为了兼容一些旧版本的Oracle数据库或者驱动限制，默认把批次大小设得比较保守。但现在大多数新版本的Oracle（11g及以上）和cx_Oracle驱动都支持更大的批次，所以完全可以放心调整。

额外注意事项 #

• 批次大小建议不要超过1000：Oracle的INSERT ALL语句有最大行数限制，超过的话会抛出数据库层面的错误，100是非常安全的选择。
• 内存占用：如果你的单条数据体积很大，批次太大可能会占用较多内存，这时候可以根据实际情况微调（比如50或150）。
• 事务控制：批量插入后一定要记得提交事务，否则数据不会写入数据库；如果插入过程中出错，也可以通过回滚避免脏数据残留。

内容的提问来源于stack exchange，提问作者Steve