如何提升DSBulk向Cassandra批量加载CSV文件的性能？

从你提供的控制台输出看，核心问题是batches=1.00——200万条记录被当作单个批次处理，这直接导致了每秒仅500行的极低加载速度，单纯调整maxConcurrentQueries和bufferSize无法解决这个核心瓶颈。以下是针对性的优化步骤：

1. 强制启用批量提交配置 #

DSBulk默认的批量设置可能未生效，需明确配置批次参数：

• 设置batch.mode为UNLOGGED（无日志批量，性能最优，适合无跨分区的批量写入）
• 配置batch.size（单批次记录数，建议1000-5000，根据单条数据大小调整）
• 设置batch.maxBytes（单批次字节数，需匹配Cassandra的批次限制，默认Cassandra允许的最大失败批次是50KB，可先设为131072即128KB，同时临时调整Cassandra的batch_size_fail_threshold_in_kb到128）

示例命令：

dsbulk load -url your_data.csv -k your_keyspace -t your_table \
  -batch.mode UNLOGGED -batch.size 2000 -batch.maxBytes 131072

2. 调整并发与缓冲区参数 #

结合批量配置，同步调整并发参数才能发挥作用：

• maxConcurrentQueries：设置为集群节点数×4~8，比如4节点集群设为16
• driver.connections.local：本地节点的连接数，建议4-8
• bufferSize：缓冲区大小，建议设为8192或16384，确保有足够数据填充批次

示例命令补充：

... -maxConcurrentQueries 16 -driver.connections.local 4 -bufferSize 8192

3. 排查数据模型的热点问题 #

如果所有记录的分区键高度集中（比如全部属于同一个分区），Cassandra会将所有请求路由到单个节点，导致DSBulk无法并发：

• 检查CSV中的分区键值是否分散，确保数据均匀分布在集群所有节点
• 若分区键是时间类字段，尝试按小时/天拆分，避免热点分区

4. 临时优化Cassandra集群配置 #

针对写入压力临时调整集群参数（长期需结合集群规模规划）：

• 调大concurrent_writes（默认32，可设为64），允许节点处理更多并发写请求
• 调大memtable_flush_writers（默认2，可设为4），加快memtable刷盘速度
• 确保集群使用SSD磁盘，避免磁盘IO成为瓶颈

5. 优化CSV读取效率 #

• 将大CSV拆分为多个小文件（比如每个文件100万条），DSBulk会自动并行读取多个文件，提升输入速度
• 确保CSV文件存储在DSBulk运行节点的本地磁盘，避免网络IO拖慢读取

优化后重新运行，观察控制台的batches数值是否大于1，rows/s应能提升至数千甚至上万级别。

内容的提问来源于stack exchange，提问作者harish bollina