使用DSBulk备份恢复Cassandra集群耗时过长的优化方案咨询

单会话全表备份实现方法 #

DSBulk 官方命令行工具默认单次调用仅支持单表的 load/unload 操作，无法直接通过命令行参数实现单会话下多表批量操作，但可通过二次开发实现会话复用：

• 基于 DSBulk 公开的 Java API 开发轻量定制工具：全局创建唯一的 CqlSession 实例后，遍历集群所有待操作的表，为每个表分别构造 Unload/Load 执行逻辑，所有操作复用同一个会话连接，可完全消除重复创建会话的额外开销，你当前70张表的场景可直接减少约490s的耗时。

无需二次开发的优化方案 #

如果不想做定制开发，可通过以下思路优化现有脚本的执行效率：

• 并行执行 DSBulk 任务：将70张表拆分为多个分组，用Python脚本启动多个DSBulk进程并行执行备份/恢复任务，建议并发数控制在3~5之间（避免超过集群连接阈值），会话创建总耗时可从490s降低到 7 * (70/并发数) 的水平，小数据量场景下总耗时会大幅缩短。
• 优化DSBulk驱动配置降低单会话创建耗时：修改DSBulk的application.conf配置文件，添加以下参数减少会话建立时的多余开销：

  datastax-java-driver {
    advanced {
      schema {
        refresh-schema-interval = -1
        request.timeout = 2s
      }
      connection {
        init-query-timeout = 2s
      }
    }
  }
  

  调整后单次会话创建耗时可降低到1~2s，总会话开销直接下降70%以上。
• 改用原生快照备份：如果不需要文本格式的备份文件，可直接使用Cassandra原生的nodetool snapshot命令做快照备份，70张表的快照创建总耗时不超过10s，恢复时直接将快照文件放回对应表的数据目录后重启节点即可，执行效率远高于DSBulk导出文本。
• 替换导出逻辑复用Python驱动会话：如果必须保留文本格式输出，可直接替换现有DSBulk调用逻辑，改用Cassandra Python驱动全表查询后写入本地文本文件，所有表复用同一个会话实例，同样可完全消除重复创建会话的开销，小数据量场景下执行效率远高于调用外部DSBulk进程。

内容的提问来源于stack exchange，提问作者naraen diran