SQLAlchemy连接BigQuery写入数据速度极慢问题咨询

90秒写入20行的问题本质是SQLAlchemy ORM默认行为与BigQuery方言实现、BigQuery自身写入特性不匹配导致，和SQLAlchemy核心功能无关：

• 未开启批量优化的情况下，sqlalchemy-bigquery方言会为每一行待插入数据生成独立的INSERT RPC请求
• BigQuery单条INSERT请求存在固定的服务端元数据校验、作业调度开销，单请求耗时通常在1-4秒区间，21条独立请求累加后耗时刚好落在你观测到的90秒左右量级
• 原生客户端速度快，是因为其默认将多行数据合并为单批次请求发送，不存在重复的固定开销

你代码中已经开启了echo=True，执行commit时观察控制台输出的SQL日志即可快速定位：

• 如果日志中连续输出21条独立的INSERT INTO \Region` (...) VALUES (...)`语句，即可确认是未开启批量合并导致的重复请求问题
• 如果日志仅输出1条多值INSERT语句仍耗时过长，检查是否开启了每次提交自动刷新表元数据、全量事务校验的冗余逻辑

按改造成本从低到高排序：

1. 开启Session级批量插入参数（零业务代码改造） #

SQLAlchemy 1.3及以上版本自带批量写入优化能力，仅需修改Session初始化参数，方言会自动将多行插入合并为单条多值INSERT请求，仅发送1次RPC：

Session = sessionmaker(
    bind = engine,
    autoflush = False,
    expire_on_commit = False,
    bulk_insert_batch_size = 1000,
    enable_baked_queries = True
)

修改后同等数据量写入耗时通常可降到2-5秒区间。

2. 使用bulk_insert_mappings接口跳过ORM冗余开销 #

不需要逐行实例化ORM对象再调用add()，直接传入原始字典列表做批量映射写入，可跳过ORM对象状态追踪、字段校验的额外开销，性能接近原生客户端：

start = time.time()
# 直接传入你现有的data列表即可，不需要循环逐行add
session.bulk_insert_mappings(Region, data)
session.commit()
print(time.time()-start)

该方式下21行数据写入耗时通常在1秒以内。

3. 大批量数据场景直接用pandas原生写入接口 #

如果后续需要写入万行以上级别的批量数据，不要走ORM层SQL转换逻辑，直接调用pandas的BigQuery写入接口，对接BigQuery底层存储写入API，无SQL解析开销，性能最高：

df.to_gbq(
    destination_table = '项目ID.数据集ID.Region',
    credentials_path = 'yyy.json',
    if_exists = 'append'
)

额外引擎参数优化 #

创建引擎时补充以下配置，可进一步减少不必要的请求开销：

engine = create_engine(
    'bigquery://xxx',
    credentials_path = "yyy.json",
    echo = True,
    arraysize = 1000,
    use_query_cache = True,
    list_tables_page_size = 1000, # 减少表结构拉取的分页请求
    job_config = {'write_disposition': 'WRITE_APPEND'} # 预指定写入配置，减少作业初始化开销
)

内容的提问来源于stack exchange，提问作者somelibra