Simba JDBC批量插入143万条数据时遭遇BufferOverflowException异常求助

你在批量插入143万+条27列数据时遇到的缓冲区溢出异常，是Simba JDBC处理大批次数据时的典型问题，咱们来拆解根源并给出可行方案：

问题本质 #

这个异常的核心原因是Simba JDBC驱动的内部缓冲区，不足以容纳你设置的5000条批量数据。27列的每条数据如果包含较长字符串或其他大体积内容，5000条的总数据量很容易超过驱动默认的缓冲区上限，直接触发BufferOverflowException。

可行解决方案 #

1. 减小批量提交的大小 #

最直接快速的办法是把BATCH_SIZE从5000调小，比如改成1000甚至500，降低单次批量的数据总量，避免缓冲区被撑爆。修改后的代码示例：

count=0; 
BATCH_SIZE=1000; // 调小批次大小
while (res.next()) { 
    preparedStatement.setString(1, res.getString(1)); 
    // ... 省略其他26列的赋值代码
    preparedStatement.setString(27, res.getString(27)); 
    preparedStatement.addBatch(); 
    if(count % BATCH_SIZE == BATCH_SIZE-1) { 
        preparedStatement.executeBatch(); 
        preparedStatement.clearBatch(); 
    } 
    count++; 
} 
preparedStatement.executeBatch();

这个方案不需要调整驱动配置，适合快速验证问题根源或临时应急。

2. 调整Simba JDBC的缓冲区参数 #

Simba驱动支持通过连接URL参数增大内部缓冲区，你可以在JDBC连接字符串中添加BufferSize参数（单位为字节），比如设置为10MB：

String url = "jdbc:simba://your-db-host:port/database;BufferSize=10485760";
Connection conn = DriverManager.getConnection(url, username, password);

注意不同版本的Simba驱动参数名可能略有差异，部分版本可能使用BatchBufferSize，可以参考驱动文档确认具体参数。

3. 检查并优化字段数据 #

如果某些字段存在超长字符串（远超表结构定义长度）或大体积二进制数据，也会快速耗尽缓冲区。你可以：

• 提前校验并截断符合业务规则的超长字符串
• 对CLOB/BLOB这类大字段单独处理，避免和普通字段一起批量插入

额外注意事项 #

• 如果连接未开启自动提交，记得在每次executeBatch()后调用conn.commit()，避免事务日志堆积
• 你代码中最后循环结束后执行的preparedStatement.executeBatch()很关键，确保了剩余未提交的批次被处理，这点做得很到位

内容的提问来源于stack exchange，提问作者Krishna