node-oracledb批量插入Oracle百万级数据报ORA-12537 TNS连接关闭错误排查

一、现有连接池配置的错误修正 #

你当前配置对多个node-oracledb参数的作用存在误解，直接替换为以下有效配置：

const poolConfig = {
  user: 'user1',
  password: 'password1',
  // 原有顶层schema配置无效，通过连接参数指定默认schema
  connectString: `${hostname}:${port}/${database_name}?currentSchema=DWH`,
  poolMin: 1,
  poolMax: 1,
  poolIncrement: 0,
  // 禁止无限排队，设置最大排队数为10
  queueMax: 10,
  // 空闲连接60秒即回收重建，避免长期持有僵死连接
  poolTimeout: 60,
  // 排队获取连接超时时间设为2分钟，避免无限等待
  queueTimeout: 120000,
  // 开启TCP层保活，避免被防火墙、数据库服务端主动切断长连接
  tcpKeepAlive: true
}

同步修改Oracle客户端配置：在$ORACLE_HOME/network/admin/sqlnet.ora文件中添加SQLNET.EXPIRE_TIME=10，数据库每10分钟探测一次连接有效性，不会主动终止正在运行的长会话。

二、批量插入逻辑的核心修正 #

你遇到的问题大概率和全量加载文件、超大批次executeMany直接相关，调整点如下：

• 拆分executeMany的单批次大小：单批次传参控制在1000-5000行，100万行的文件要拆分为多次调用，注意12.2版本的Oracle客户端对单次executeMany的报文大小有硬限制，超过5000行很容易触发缓冲区溢出导致连接中断，避免单次传输报文过大占满网络缓冲区、撑爆会话PGA内存，触发数据库的资源管控规则主动断连
• 取消全量文件读取逻辑：worker_threads不要等整个文件读完再传数据，边读边按固定行数攒批次，直接把攒好的批次传给插入逻辑，避免内存占用过高、等待时间过长导致连接被切
• 执行前校验连接有效性：每次从池里拿连接准备插入时，先执行一次connection.ping()验证连接可用，不要直接使用已经僵死的连接
• 调整事务提交粒度：不要等100万行全插完再commit，每10个批次（约3-5万行）执行一次connection.commit()，避免长事务撑满UNDO表空间被数据库终止会话

  // 单批次执行示例
  await connection.ping()
  await connection.executeMany(insertSql, currentBatch, {
    autoCommit: false,
    batchErrors: true,
    // 提前定义绑定列的类型和长度，避免每次调用重复推断类型占用资源
    bindDefs: columnBindConfig
  })
  // 攒够10个批次统一提交
  if (currentBatchCount % 10 === 0) {
    await connection.commit()
  }
  

三、连接池生命周期管理修正 #

• 不要给每个文件单独创建独立连接池：全局只初始化1个连接池即可，你设置的poolMax为1，多开独立池只会额外占用数据库会话数，触发数据库会话数上限限制被主动踢连接
• 插入流程结束后必须显式销毁连接池：调用await pool.close(1)强制回收所有池内连接，避免残留连接占资源
• 增加基础错误重试逻辑：捕获到ORA-12537、ORA-03113这类连接断开错误时，从连接池重新获取新的连接，重试当前未完成的批次，不要直接中断整个插入流程

四、版本兼容修正 #

你使用的node-oracledb 5.0.0存在已知的长连接泄漏、批量插入内存溢出bug，对应问题在5.1.0及后续版本修复，结合你使用的Node 12环境，建议将node-oracledb版本升级到5.5.0以上，不要锁定^5.0.0范围内的初始有bug版本。

注意：原有配置中顶层的schema: 'DWH'参数属于无效配置，node-oracledb不会识别该参数，之前的schema设置实际未生效，必须通过连接串的currentSchema参数或者连接建立后执行ALTER SESSION SET CURRENT_SCHEMA=DWH才能真正切换默认schema，否则可能因权限校验异常触发连接断开。

内容的提问来源于stack exchange，提问作者Emilio