如何通过DBeaver在PostgreSQL中成功执行5万条INSERT查询

完全可以用DBeaver向PostgreSQL插入5万条规模的数据集，你遇到的开发环境执行失败问题和插入方式、环境配置限制直接相关，不需要强制拆分查询，合理调整配置+用对插入方式就能顺利完成。

报错原因说明 #

你碰到的too much data ranges报错基本不是PostgreSQL数据库本身抛出的，大多来自两类限制：

• DBeaver客户端默认的批量处理阈值、驱动参数没适配开发环境的网络条件
• 开发环境数据库前置的连接代理、SQL防火墙、审计插件对单次请求的扫描范围、数据包大小做了硬拦截，你本地是直连数据库+调整过内存参数所以能跑通，开发环境链路多了几层限制就会触发报错。

可落地的实现方案 #

• 优先调整驱动和DBeaver配置，不用手动拆分SQL
  打开对应开发环境的连接设置，找到PostgreSQL驱动属性页，把reWriteBatchedInserts参数值改为true，这个参数会让JDBC驱动自动把多条独立插入语句合并为多值批量写入，大幅降低请求交互次数；再找到SQL编辑器的执行配置页，把批量写入块大小调整为5000-10000区间，不要拉到最高，避免单次请求占内存过大触发拦截。
• 配置调整后仍报错再做分批，不用严格按每次1万条拆分
  5000-8000条/批是PostgreSQL写入效率最高的区间，也不会触发绝大多数网关、代理的请求大小限制。不用手动拆分数据集文件，直接用DBeaver原生导入功能：选中目标表右键选择「导入数据」，上传你的本地数据集（支持CSV、Excel、SQL脚本等格式），在导入配置页直接把批量提交大小设为8000，勾选「使用批量插入」，DBeaver会自动完成分批提交，全程不用手动改脚本。

实操优化技巧 #

• 不要直接跑逐行写的独立INSERT脚本：5万条单条INSERT会产生5万次独立事务提交，网络IO、WAL日志开销是批量写法的数十倍，跑几十分钟后失败是正常现象。如果自己写插入脚本，统一改成多值插入格式：INSERT INTO 表名 (字段1,字段2) VALUES (值1,值2),(值3,值4)...，单次拼接500-1000行值即可，不要一次拼完5万行。
• 插入前临时关闭目标表的非必要二级索引、外键约束、审计触发器，数据全部插入完成后再重建/开启：5万条数据本身写入很快，但如果表上有多个二级索引，每插入一行就要同步更新所有索引，写入速度会下降3-10倍。
• 检查开发环境的数据库连接串，追加prepareThreshold=0&reWriteBatchedInserts=true参数，避免驱动使用服务端预编译时缓存过多执行计划，触发数据范围超限报错。
• 提前和运维确认开发环境的SQL防火墙、审计插件规则，很多安全插件会把单次涉及超过1万行的写入判定为风险操作直接拦截，这类限制改客户端配置没用，加白名单即可。

内容的提问来源于stack exchange，提问作者Blnpwr