SSIS迁移PostgreSQL至SQL Server时内存不足连接中断问题求助

分批次迁移的可行性（核心解决方向） #

完全可以通过分批次迁移解决，因为LOB字段强制了Row by Row读取，SSIS默认缓冲机制失效，必须手动实现分片拉取：

• 按主键/自增ID分片：在PostgreSQL数据源查询语句中，用WHERE限定每次拉取的ID范围，比如SELECT * FROM your_table WHERE id BETWEEN @StartId AND @EndId，通过SSIS的Foreach循环容器或变量驱动循环逐步递增分片范围，每次仅处理小批数据。
• 按时间戳分片：若表有创建/更新时间字段，可按时间区间拆分，比如WHERE create_time >= @StartTime AND create_time < @EndTime，适合数据按时间均匀分布的表。
• 分片大小建议：结合8GB内存环境，每次拉取1000-5000条（可根据LOB字段平均大小调整），避免单批次内存占用过高。

ODBC相关排查与调整 #

该错误大概率和ODBC驱动配置有关，可从以下几点排查：

• 更新ODBC驱动版本：确保使用最新版官方psqlODBC驱动，旧版本对LOB字段的内存处理可能存在bug。
• 调整驱动配置参数：在ODBC数据源管理器中找到PostgreSQL的DSN配置，修改两项关键设置：
  • 开启Use Declare/Fetch：强制驱动用游标分批拉取数据，而非一次性加载全量结果集，适配LOB字段的行级读取场景。
  • 调小Fetch Size：设置为1000左右，控制每次从PostgreSQL拉取的行数，避免内存溢出。
• 检查VPN稳定性：VPN链路不稳定可能导致连接意外断开，迁移期间减少其他带宽占用操作，或延长VPN连接超时时间。

其他优化操作 #

• 禁用无效的缓冲区设置：既然已强制行级读取，DefaultBufferMaxRows和DefaultBufferSize不会生效，可将数据流任务的MaxConcurrentExecutables设为1，降低并发内存占用。
• 单独处理LOB字段：如果ReturnValue是大文本/二进制数据，可先迁移非LOB字段，再通过关联主键批量插入LOB数据，降低单条数据的内存负载。

内容的提问来源于stack exchange，提问作者Ferri16