32位Postgres ODBC驱动通过SSIS读取10万级数据失败求助

我之前处理过好几起类似的跨位数据抽取故障，给你几个针对性的排查和解决思路：

1. 调整ODBC驱动的核心连接参数 #

默认的ODBC配置很可能在大数据量传输时触发超时或数据包异常：

• 一定要打开32位ODBC数据源管理器（路径是C:\Windows\SysWOW64\odbcad32.exe，别和系统默认的64位版本搞混）
• 找到你配置的PostgreSQL DSN，进入配置界面：
  • 把连接超时时间从默认的10秒拉到60秒甚至更久，给大数据传输留足时间
  • 尝试修改数据包大小（Packet Size），可以设为8192或16384，避免因数据包尺寸不匹配导致传输中断
  • 如果有「允许批量操作」的选项，务必勾选，优化大数据量的读取效率

2. 优化SSIS数据流的批量处理逻辑 #

SSIS默认的数据流设置未必适配大数据量场景：

• 把PostgreSQL源组件的数据访问模式改成SQL命令，而非默认的表/视图直接读取
• 用PostgreSQL的LIMIT + OFFSET做分页抽取，比如每次拉10000条数据，通过循环任务分批完成全量抽取，避免单次读取数据量过载
• 调整数据流的缓冲区参数：在数据流任务的属性里，增大DefaultBufferMaxRows（比如设为10000）和DefaultBufferSize（比如设为104857600，即100MB），提升数据缓存能力

3. 检查PostgreSQL服务器的性能配置 #

64位服务器的默认参数可能限制了32位客户端的大数据传输：

• 登录PostgreSQL服务器，编辑postgresql.conf文件：
  • 增大max_connections，避免因连接数耗尽导致中断
  • 调高work_mem和maintenance_work_mem，给大数据查询分配更多内存
  • 优化wal_buffers和shared_buffers参数，提升数据读写的吞吐量
• 修改后重启PostgreSQL服务，让配置生效

4. 替换为SSIS原生PostgreSQL连接器 #

如果ODBC驱动始终有兼容性问题，可以试试原生连接器：

• 在Visual Studio的SSIS组件库中安装PostgreSQL原生源/目标组件（需要对应版本的扩展包）
• 原生连接器跳过了ODBC中间层，对大数据量传输的兼容性和稳定性通常更好

5. 严格匹配驱动与服务器版本 #

虽然你试过9.x和10.x的驱动，但要注意版本对齐：

• 优先使用和PostgreSQL服务器主版本完全一致的32位驱动（比如服务器是9.5，就用9.5的32位ODBC驱动），跨大版本的驱动容易隐藏兼容性bug
• 确保使用的是该版本驱动的最新稳定版，旧版本可能存在大数据传输的已知问题

内容的提问来源于stack exchange，提问作者Sirajudeen