使用JDBI分块插入11000条记录实现事务一致性报错排查

首先，我们先聚焦你遇到的核心报错根源：

java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 32997

这是PostgreSQL JDBC驱动的典型问题——PostgreSQL V3协议中，部分字段用2字节整数存储长度，当生成的批量INSERT语句参数列表太长（超过2字节上限32767）时，就会触发这个IO错误。结合你的代码逻辑和事务需求，我们分步骤解决：

1. 先修复代码里的事务与执行逻辑漏洞 #

你的insertrecords方法有两个致命问题：

• 打开了Handle但完全没调用attach后的insertRecords批量插入方法，等于白忙活
• 没有显式管理事务，根本无法实现“全成功或全回滚”的要求

修改后的方法应该是这样：

public int insertrecords(List<Employee> lstEmp) {
    int cnt = 0;
    try (Handle open = jdbi.open()) {
        // 手动开启事务，确保所有分块在同一个事务中
        open.begin();
        UserDAO attach = open.attach(UserDAO.class);
        // 真正执行批量插入
        cnt = attach.insertRecords(lstEmp);
        // 所有分块执行成功后提交事务
        open.commit();
    } catch(Exception e) {
        // 只要有异常，Handle关闭时会自动回滚所有操作
        throw new RuntimeException("批量插入失败，已触发回滚", e);
    }
    System.out.println("批量插入完成，共插入" + cnt + "条记录");
    return cnt;
}

2. 解决PostgreSQL协议长度超限问题 #

报错里的32997已经超过了2字节整数的最大值32767，说明即使分块1000条，单批次生成的SQL参数还是太长。这里有两种解决方案：

方案一：缩小批次大小 #

把@BatchChunkSize从1000调小，比如改成500，这样单批次生成的SQL长度会缩短，避开协议限制：

@BatchChunkSize(500)
int insertRecords(@BindBeanList(propertyNames = {"empid", "empname", "experience"}, value = "values") List<Employee> lstEmp);

这个方案改动最小，适合快速验证。

方案二：改用PostgreSQL COPY命令（大数量插入首选） #

对于11000条这种量级的数据，PostgreSQL的COPY命令效率比批量INSERT高得多，而且完全不会有协议长度的问题。JDBI可以通过Handle直接调用COPY：

public int insertrecords(List<Employee> lstEmp) {
    int total = lstEmp.size();
    try (Handle open = jdbi.open()) {
        open.begin();
        // 执行COPY命令导入数据
        open.createUpdate("COPY public.Employee (empid, empname, experience) FROM STDIN")
            .execute(stmt -> {
                CopyManager copyManager = new CopyManager((PGConnection) stmt.getConnection());
                try (StringWriter writer = new StringWriter()) {
                    // 把Employee数据转成COPY要求的制表符分隔格式
                    for (Employee emp : lstEmp) {
                        writer.write(String.format("%d\t%s\t%d\n", emp.empid, emp.empname, emp.experience));
                    }
                    writer.flush();
                    // 写入数据到数据库
                    copyManager.copyIn("COPY public.Employee (empid, empname, experience) FROM STDIN", new StringReader(writer.toString()));
                }
                return total;
            });
        open.commit();
    } catch(Exception e) {
        throw new RuntimeException("批量插入失败，已回滚", e);
    }
    System.out.println("COPY导入完成，共插入" + total + "条记录");
    return total;
}

注意：这个方案需要确保你的PostgreSQL JDBC驱动包含CopyManager（一般官方的postgresql.jar都自带），不仅解决了报错，插入速度也会快很多。

3. 额外的小检查 #

• 尽量使用最新版本的PostgreSQL JDBC驱动，旧版本对大批次处理的兼容性较差
• 测试事务有效性：可以故意构造一条非法数据（比如重复的empid），执行插入后检查数据库是否完全没有新增记录，验证回滚是否正常

内容的提问来源于stack exchange，提问作者Balasaheb Karjule