如何跳过重复数据并获取重复项告警？（JDBC场景）

针对你遇到的问题，这里提供几种实用的解决思路，基于JDBC和MySQL特性实现：

方法1：预查询提前找出重复项 #

在执行插入操作前，先筛选出待插入数据中已存在于表内的条目，直接明确重复项：

1. 收集所有待插入的(fname,lname,age)组合
2. 执行查询语句提取重复数据：

SELECT fname, lname, age 
FROM users 
WHERE (fname, lname, age) IN ((?, ?, ?), (?, ?, ?), ...);

3. 查询结果即为后续INSERT IGNORE会跳过的重复行
4. 对剩余非重复数据执行插入操作

这种方法能精准获取重复数据的完整信息，适合需要对重复项做后续处理的场景；若待插入数据量极大，可将IN子句拆分为多个批次执行，避免SQL语句过长。

方法2：读取INSERT IGNORE后的警告信息 #

MySQL执行INSERT IGNORE时，被跳过的重复行会以警告形式记录。在JDBC中可通过Statement.getWarnings()获取这些警告，筛选错误码为1062（重复键错误）的条目：

// 示例：使用PreparedStatement批量插入
String sql = "INSERT IGNORE INTO users(fname,lname,age) values (?,?,?)";
PreparedStatement pstmt = connection.prepareStatement(sql);

// 添加待插入参数
pstmt.setString(1, "John");
pstmt.setString(2, "Doe");
pstmt.setInt(3, 30);
pstmt.addBatch();

pstmt.setString(1, "Jane");
pstmt.setString(2, "Smith");
pstmt.setInt(3, 25);
pstmt.addBatch();

// 执行批量插入
pstmt.executeBatch();

// 遍历警告提取重复项
SQLWarning warning = pstmt.getWarnings();
while (warning != null) {
    if (warning.getErrorCode() == 1062) {
        // 示例警告消息格式："Duplicate entry 'John-Doe-30' for key 'PRIMARY'"
        System.out.println("被忽略的重复项: " + warning.getMessage());
    }
    warning = warning.getNextWarning();
}

注意：警告消息格式可能随MySQL版本略有变化，解析时需适配；此方法适合仅需知晓哪些行被忽略的场景。

方法3：用ON DUPLICATE KEY UPDATE替代INSERT IGNORE并记录重复项 #

若表有唯一键，可使用INSERT ... ON DUPLICATE KEY UPDATE配合自定义逻辑统计或记录重复项：

-- 初始化变量统计重复数
SET @duplicate_count = 0;

INSERT INTO users(fname,lname,age) 
VALUES (?, ?, ?)
ON DUPLICATE KEY UPDATE 
    id = id,  -- 无实际更新，仅触发重复检测
    @duplicate_count = @duplicate_count + 1;

在JDBC中执行完上述语句后，再执行SELECT @duplicate_count即可获取被跳过的重复行数。若需记录具体重复行，可在UPDATE子句中将重复数据写入临时表，后续查询临时表即可。

此方法需JDBC连接允许执行多语句（MySQL驱动需设置allowMultiQueries=true），适合需要统计重复数量或批量记录重复项的场景。

内容的提问来源于stack exchange，提问作者Gidde