单数据库连接下MySQL多线程插入失效问题求助

嘿，刚接触MySQL多线程开发就碰上个典型坑，我来帮你拆解下～

为啥单连接多线程插入会失效？ #

核心问题在于：MySQL的单个数据库连接是线程不安全的！

你想啊，一个连接就像一条单车道的马路，多个线程同时往这条路上塞SQL命令，结果就是指令混乱、互相干扰——比如线程A刚开启事务准备插入，线程B突然触发了提交，或者两个线程的SQL语句被混在一起执行，最终要么操作压根没被正确执行，要么事务状态彻底乱掉，就出现了你说的“疑似未提交”的情况。而单线程用一个连接，相当于一个人独占这条马路，自然顺畅没毛病。

给你几个靠谱的解决办法，按优先级排序： #

1. 给每个线程配独立的数据库连接（最推荐） #

这是解决多线程插入问题的标准姿势：

• 每个线程初始化自己的专属连接，完成分片数据的插入后再关闭（如果怕频繁创建销毁连接太耗性能，就用连接池来管理，比如HikariCP、Druid这类，能自动帮你复用连接）
• 给你写个伪代码示例（拿Java举例子，其他语言逻辑一样）：

// 每个线程的任务逻辑
Runnable insertTask = () -> {
    try (Connection conn = DriverManager.getConnection("你的数据库URL", "用户名", "密码")) {
        conn.setAutoCommit(false); // 开启批量提交，大幅提升效率
        // 准备插入的预编译语句
        PreparedStatement pstmt = conn.prepareStatement("INSERT INTO taxi_trips (字段1, 字段2, ...) VALUES (?, ?, ...)");
        
        // 读取分配给当前线程的CSV分片数据，循环添加参数
        for (每行数据 : 分片数据) {
            pstmt.setString(1, 字段1值);
            pstmt.setString(2, 字段2值);
            // ... 其他字段
            pstmt.addBatch(); // 加入批量队列
        }
        
        pstmt.executeBatch(); // 执行批量插入
        conn.commit(); // 当前线程自己提交事务
    } catch (SQLException e) {
        // 出错了就回滚
        if (conn != null) conn.rollback();
        e.printStackTrace();
    }
};

• 小贴士：60万行数据可以先分成N个小分片（比如每个分片1万行），每个线程处理一个分片，同时控制并发线程数（比如CPU核心数的2-4倍就行，别开太多，不然数据库扛不住）

2. 用MySQL原生的批量导入工具（最省心，效率拉满） #

如果你的需求只是把CSV导入数据库，其实完全没必要自己写多线程程序！MySQL自带的LOAD DATA INFILE命令是专门干这个的，单线程就能轻松处理百万级数据，比你自己写的多线程快太多：

LOAD DATA INFILE '/你本地的CSV文件路径/taxi_data.csv'
INTO TABLE taxi_trips
FIELDS TERMINATED BY ','  -- CSV的字段分隔符，一般是逗号
ENCLOSED BY '"'           -- 如果字段有引号包裹就加这个
LINES TERMINATED BY '\n'  -- 行分隔符，一般是换行符
IGNORE 1 ROWS;            -- 如果CSV第一行是表头，就忽略掉

• 要是想在程序里调用这个命令，直接通过JDBC或者其他客户端执行这条SQL就行，简单又靠谱。

3. 临时开启自动提交（不推荐，仅应急） #

如果你非要用单连接硬扛（真的不建议），可以试试把连接的autoCommit设为true，让每条插入语句自动提交。但这会导致性能暴跌，而且依然存在线程安全问题——多个线程抢一个连接，还是可能出现SQL执行顺序混乱、数据错误的情况，只适合极小数据量的场景。

额外提几个导入优化小技巧 #

如果用自定义程序插入，还能加这些操作提升效率：

• 插入前关闭外键约束：SET FOREIGN_KEY_CHECKS = 0;，导入完再开SET FOREIGN_KEY_CHECKS = 1;
• 临时关闭唯一性检查：SET UNIQUE_CHECKS = 0;，导入完成后恢复
• 对于InnoDB表，设置自增锁模式为2：SET @@session.innodb_autoinc_lock_mode = 2;，能提升并发插入的速度

内容的提问来源于stack exchange，提问作者rafik_bougacha