咨询高效导入12个共36GB CSV文件至Cassandra的方法

兄弟，我太懂这种逐行插入慢到怀疑人生的感觉了！36GB的CSV逐行插确实会让人崩溃，给你几个实战过的高效方案，亲测能把时间压缩到几小时甚至更短：

这是官方专门针对CSV批量导入优化的工具，比自己写的逐行插入效率高N倍，而且零额外依赖：

• 基本命令格式：

  COPY your_keyspace.your_table FROM '/path/to/your/csv/files/*.csv' WITH HEADER = TRUE;
  

• 关键优化参数（根据集群配置调整）：
  • CHUNKSIZE：每次读取的行数，默认1000，大文件可以调到5000-10000
  • INCOMING_CONSISTENCY_LEVEL：单数据中心场景设为LOCAL_ONE，减少一致性检查的开销
  • MAX_REQUESTS_PER_NODE：控制每个节点的并发请求数，避免把集群压垮
• 支持多文件批量导入，直接用通配符*.csv就行，不用逐个处理文件

这是DataStax推出的批量加载工具，社区版也能免费使用，比cqlsh-copy性能更强，适合超大规模数据导入：

• 基本导入命令：

  dsbulk load -k your_keyspace -t your_table -url /path/to/csv/directory/ -header true
  

• 核心优化点：
  • 调整--max-concurrent-requests和--batch-size参数，比如把batch-size设为1000-5000（根据单条记录大小调整）
  • 加--stats参数可以实时查看导入进度、吞吐量和错误统计
  • 遇到脏数据时，用--error.policy=CONTINUE跳过错误，事后通过错误日志统一处理

如果业务场景必须自定义导入逻辑，绝对不能单条插入，试试这几个优化点：

• 用批量语句（Batch Statement），但注意batch不是越大越好，建议每个batch包含100-500条记录（太大容易触发超时）
• 用异步API，比如Java Driver里的AsyncBatchStatement，充分利用并发提升效率
• 临时降低写入一致性级别（比如设为LOCAL_ONE，业务允许的前提下），减少集群同步开销
• 复用Statement模板，别在循环里频繁创建新对象，减少内存和CPU消耗

导入前给集群做些临时调整，能进一步提速：

• 把目标表的read_repair_chance设为0，减少导入时的后台修复开销
• 临时关闭自动压缩：

  ALTER TABLE your_keyspace.your_table WITH compaction = {'class': 'SizeTieredCompactionStrategy', 'enabled': false};
  

  导入完成后再开启压缩，并手动触发一次压缩操作
• 暂时关闭集群上的非必要任务（比如备份、监控告警），给导入分配更多CPU和内存资源

我之前用DSBulk导过40GB的CSV数据，大概2小时就搞定了，比逐行插入快了十几倍。你可以先从cqlsh-copy入手，简单易上手，要是还不够快就换DSBulk，绝对能解决你的痛点！

内容的提问来源于stack exchange，提问作者APDK85