如何在Cassandra中完成百万条数据插入？附连接异常问题求助

兄弟，你这个问题我太熟了——之前帮朋友调过类似的Cassandra批量插入场景，先给你拆解下核心问题：你遇到的BusyConnection错误，本质是单条插入把Cassandra的默认连接池（通常就是2048大小）给打满了，每条请求占一个连接，到数就卡壳。针对100万条数据的插入，最优方案肯定是批量操作，而不是单条硬刚，下面给你详细说：

这是Cassandra官方推荐的大数量插入方式，能把性能提升几个量级：

1. 用Driver的批量语句（Batch Statement） #

别用无脑大批次，Cassandra推荐的合理批量大小是100-500条/批（具体看单条数据大小，尽量保证单批数据不超过1MB），这样既能大幅减少网络请求次数，又不会给Cassandra节点造成过大压力。

举个Java Driver的示例代码（其他语言Driver逻辑类似）：

// 用UNLOGGED批量，性能更高，适合非事务场景
BatchStatement batch = new BatchStatement(BatchType.UNLOGGED);
int batchSize = 300; // 根据你的数据大小调整

for (int i = 0; i < csvRows.size(); i++) {
    // 绑定单条插入语句的参数
    batch.add(insertStmt.bind(csvRows.get(i).getCol1(), csvRows.get(i).getCol2()));
    
    // 达到批量大小或最后一条时，异步执行批量
    if ((i + 1) % batchSize == 0 || i == csvRows.size() - 1) {
        session.executeAsync(batch); // 异步执行，提升吞吐量
        batch.clear(); // 清空批量，准备下一批
    }
}

划重点：一定要用UNLOGGED批量，除非你必须要事务性保证——LOGGED批量会额外写事务日志，性能开销很大，Cassandra本身也不是为强事务设计的。

2. 调整连接池参数（辅助优化） #

如果批量后还是偶尔出现连接问题，可以适当调大连接池的大小。比如在Java Driver的配置文件里：

datastax-java-driver {
  advanced.connection {
    pool {
      local.size: 4096 # 本地节点的连接池大小，根据服务器CPU核心数调整
      remote.size: 1024 # 远程节点的连接池大小，按需设置
    }
  }
}

不过这只是辅助手段，核心优化还是批量写入。

3. 并行解析CSV文件 #

既然你有数千个CSV，可以用多线程并行解析不同的文件，每个线程独立处理自己的批量写入。线程数建议控制在Cassandra节点数×2左右，避免给集群造成过大压力。

这个方法是可行的，但有几个坑要注意：

1. 生成CQL文件的正确姿势 #

• 可以直接生成单条INSERT语句，也可以用批量语句包裹，但同样要控制每批的大小（比如每300条一个UNLOGGED批量），避免单批过大导致Cassandra节点OOM。
• 示例CQL片段：

  BEGIN UNLOGGED BATCH;
  INSERT INTO your_table (col1, col2) VALUES ('val1', 123);
  INSERT INTO your_table (col1, col2) VALUES ('val2', 456);
  -- 最多300条左右
  APPLY BATCH;
  

2. 执行方式 #

• 用cqlsh的SOURCE命令执行：SOURCE '/path/to/your/inserts.cql';
• 或者用Driver读取文件内容，分块执行，但效率不如直接用Driver的批量API。

3. 缺点要提前知道 #

• 100万条数据生成的CQL文件可能有几十GB，存储和传输都很麻烦；
• 出错后重试成本极高，不像Driver批量可以轻松实现失败重试、断点续传；
• 并没有完全避免网络传输——cqlsh执行时还是要和Cassandra建立连接发送请求，只是把多次小请求变成了一次大文件的解析与执行，本质上还是有网络交互。

100万条数据的话，优先用Driver的异步批量写入，这是性能最高、最可靠的方式；如果因为某些限制必须用文件方式，也可以，但一定要控制批量大小，做好出错预案。另外，插入前可以临时给Cassandra做些优化：比如暂时关闭自动压缩、把一致性级别设为ONE（如果业务允许），插入完成后再改回去，能进一步提升速度。

内容的提问来源于stack exchange，提问作者stark0323