使用JDBCTemplate批量删除DB2数据报事务日志满的最优处理方案问询

你遇到的-964报错根因为单次删除250万条记录属于超大事务，DB2会把所有未提交的变更都写入事务日志，事务未提交前日志空间不会释放，直接超出了数据库配置的事务日志上限。

你提到的「分批删除+每批提交事务」的思路方向正确，但无需全量加载待删除记录到Java内存中存储完整对象，可做以下优化降低内存开销、提升执行效率：

1 优先选择「直接按批次删除」方案（无需查询主键） #

不用先查待删数据，直接在删除SQL中限制单次删除的行数，循环执行直到没有数据可删，是性能最高的实现方式：

• 核心SQL（DB2支持FETCH FIRST n ROWS ONLY限制删除行数）：

DELETE FROM table 
WHERE col = 'A' 
AND NOT EXISTS (SELECT 1 FROM table2)
FETCH FIRST 2000 ROWS ONLY

• Java 实现示例（基于JdbcTemplate）：

@Autowired
private JdbcTemplate jdbcTemplate;
@Autowired
private TransactionTemplate transactionTemplate;

public void batchDelete() {
    // 批次大小可根据DB2性能调整，建议1000~5000
    int batchSize = 2000;
    int affectRows;
    do {
        // 每个批次单独开启事务，执行完自动提交，释放事务日志空间
        affectRows = transactionTemplate.execute(status -> {
            return jdbcTemplate.update("DELETE FROM table WHERE col = 'A' AND NOT EXISTS (SELECT 1 FROM table2) FETCH FIRST ? ROWS ONLY", batchSize);
        });
        // 可选：每批次执行后加短暂休眠，避免打满数据库IO影响线上业务
        // Thread.sleep(50);
    } while (affectRows > 0);
}

2 如需先确认待删数据再删除，优化为分批查主键再删除 #

如果业务逻辑需要先校验待删数据，不要全量加载250万条记录到内存，只查询主键字段即可，每次查一批删一批：

• 实现示例（基于NamedParameterJdbcTemplate）：

@Autowired
private NamedParameterJdbcTemplate namedParameterJdbcTemplate;
@Autowired
private TransactionTemplate transactionTemplate;

public void batchDeleteWithCheck() {
    int batchSize = 2000;
    List<Long> idList;
    // 每次只查当前批次的主键，避免内存溢出
    String selectIdSql = "SELECT id FROM table WHERE col = 'A' AND NOT EXISTS (SELECT 1 FROM table2) LIMIT :batchSize";
    String deleteSql = "DELETE FROM table WHERE id IN (:idList)";
    do {
        MapSqlParameterSource queryParams = new MapSqlParameterSource("batchSize", batchSize);
        idList = namedParameterJdbcTemplate.queryForList(selectIdSql, queryParams, Long.class);
        if (CollUtil.isNotEmpty(idList)) {
            // 每个批次单独提交事务
            transactionTemplate.executeWithoutResult(status -> {
                MapSqlParameterSource deleteParams = new MapSqlParameterSource("idList", idList);
                namedParameterJdbcTemplate.update(deleteSql, deleteParams);
            });
        }
    } while (CollUtil.isNotEmpty(idList));
}

注意事项 #

• 批次大小不要设置过大：超过1万条很容易再次触发事务日志满的问题，建议压测调整到2000~5000区间最优
• 不要开启全局事务：如果删除逻辑上加了类或方法级的@Transactional注解，所有批次还是会属于同一个大事务，无法释放日志空间
• 离线任务建议放在业务低峰期执行，避免批量删除占用过多IO资源影响正常业务请求

内容的提问来源于stack exchange，提问作者Naveen