通过JDBC从Oracle向Greenplum批量插入明文数据过慢，求优化方案

刚好之前帮客户调过类似的Greenplum批量插入性能问题，结合Greenplum的MPP架构特性，给你整理几个切实可行的优化方向：

Greenplum基于PostgreSQL，但通用PG驱动对MPP的优化不够，优先用Greenplum官方的JDBC驱动（比如greenplum-jdbc-*.jar）。然后调整这几个核心参数：

• 开启rewriteBatchedStatements=true：这个参数会把零散的INSERT请求合并成批量语句，直接减少和集群的网络交互次数，对性能提升非常明显。
• 放大批量大小：别用默认的200条小批量，根据单条数据大小调到1000-5000条甚至更高（比如单条1KB的话，5000条就是5MB，刚好在网络传输的高效区间）。
• 关闭自动提交：手动控制事务，比如每5-10批提交一次，避免频繁的事务日志写入开销——代码里加connection.setAutoCommit(false)，批量插入后调用connection.commit()。

批量插入时，数据库的索引、约束会成为大瓶颈：

• 临时禁用目标表的索引和约束（比如外键、唯一约束），等数据全部导入完成后再重建。毕竟每插一条数据就更新索引，对MPP集群来说开销极大。
• 改用AO表存储：Greenplum的Append-Optimized表专为批量写入优化，比普通堆表快很多。建表时可以指定行存或列存：

  -- 行存AO适合批量写入场景
  CREATE TABLE your_table (
      id INT,
      name VARCHAR(100)
  ) WITH (appendonly=true, orientation=row);
  

• 调整数据库参数：临时增大max_wal_size减少WAL切换频率，把maintenance_work_mem调大到64MB以上（重建索引时用）。

JDBC直接插入本身就不是Greenplum最优的批量导入方式，试试这些原生工具：

• gpfdist+外部表：这是Greenplum官方首推的方案。先把Oracle数据导出成CSV/文本文件，用gpfdist在数据节点搭文件服务器，然后创建外部表指向这些文件，最后用INSERT INTO target SELECT * FROM external_table导入。这种方式能利用MPP的并行能力，速度直接拉到每秒几万甚至几十万条。
• COPY命令：通过JDBC的CopyManager执行COPY命令，比批量INSERT快好几倍。示例代码大概是：

  import org.postgresql.copy.CopyManager;
  import org.postgresql.core.BaseConnection;
  import java.io.FileReader;
  
  // 假设已经拿到了JDBC连接
  CopyManager copyManager = new CopyManager((BaseConnection) connection);
  try (FileReader reader = new FileReader("oracle_exported_data.csv")) {
      // 这里替换成你的表名和CSV格式参数
      copyManager.copyIn("COPY your_target_table FROM STDIN WITH (FORMAT csv, HEADER true)", reader);
  }
  

• 确认Oracle和Greenplum集群在同一机房，带宽足够——Greenplum要把数据分发到多个节点，网络延迟或带宽不够会直接拖慢速度。
• 检查Greenplum数据节点的磁盘IO：如果用的是HDD，换成SSD会大幅提升写入性能，毕竟批量插入的IO压力很大。

• 复用PreparedStatement：别在循环里每次都创建新的PreparedStatement，复用同一个对象能减少对象创建和销毁的开销。
• 控制并发数：如果数据量极大，可以分几个线程并行插入，但别贪多——Greenplum的并发连接数有限，过度并发会导致集群过载。

内容的提问来源于stack exchange，提问作者Limida