SSIS通过ADO NET从PostgreSQL迁移至Oracle数据过慢问题求助

1. 替换ADO NET组件为专用驱动 #

• 放弃ADO NET源/目标，改用PostgreSQL ODBC驱动（官方或EnterpriseDB版本）作为数据来源，Oracle的OLE DB目标或Oracle ODBC驱动作为写入端。ADO NET在大数据量批量处理场景下的效率远低于ODBC/OLE DB，尤其是Oracle OLE DB驱动针对批量插入做了专门优化。
• 配置PostgreSQL ODBC源时，开启Use Declare/Fetch选项，避免一次性加载全量数据到内存，改为分批拉取。

2. 调整缓冲区参数 #

• 开启AutoAdjustBufferSize=True，让SSIS根据单条数据的实际大小自动调整缓冲区，避免因单行长超出DefaultBufferSize导致缓冲区实际行数远低于DefaultBufferMaxRows的设置值。
• 手动调参的话，先估算单条数据的大小（比如单条1KB），将DefaultBufferSize设为67108864（64MB），DefaultBufferMaxRows设为50000-100000，确保缓冲区总大小不超过服务器物理内存的1/4，避免内存分页拖慢速度。

3. 启用批量插入模式 #

• Oracle目标端，打开OLE DB目标的高级编辑器，把AccessMode设为OpenRowset using Fast Load，同时勾选Table Lock（减少锁竞争），如果业务允许可以取消Check Constraints（进一步降低写入开销）。
• 若用ODBC目标，在连接字符串中添加BatchSize=10000参数，控制每次批量提交的行数。

4. 数据库端优化 #

• PostgreSQL源端：给查询添加ORDER BY（按主键或已建索引的列），避免数据库无序扫描；开启并行查询，设置max_parallel_workers_per_gather为4-8，加速数据读取。
• Oracle目标端：迁移前禁用目标表的触发器和索引（迁移完成后再重建），减少写入时的IO开销；将目标表设为NOLOGGING模式（仅适用于非归档模式或允许临时丢失数据的场景），大幅降低redo log生成量。

5. 拆分任务并行执行 #

• 把大表按主键范围拆分成多个数据流，比如WHERE id BETWEEN 1 AND 10000000、10000001 AND 20000000等，创建多个并行的数据流任务同时运行。
• 把SSIS包的MaxConcurrentExecutables设置为服务器CPU核心数的1.5-2倍，最大化利用硬件资源。

6. 网络与连接池优化 #

• 确保PostgreSQL和Oracle服务器在同一局域网，避免跨公网传输；若必须跨网，开启数据压缩：PostgreSQL连接字符串加compression=on，Oracle OLE DB驱动开启压缩选项。
• 调整连接池大小：PostgreSQL连接字符串设置Max Pool Size=20，Oracle连接池设置Max Pool Size=20，避免连接数过多耗尽数据库资源。

内容的提问来源于stack exchange，提问作者Fernando Lima Ventre