5TB+ Cassandra大表旧数据导出至S3的工具选型咨询

背景与核心需求 #

• 环境：DataStax Enterprise 5.1（对应Cassandra 3.11），存储5TB+历史告警数据
• 目标：将3年以上的旧数据迁移至S3，优化基础设施成本
• 输出要求：按group_id和日期生成文件（命名格式：alert-ingestion-group_id-ddmmyy），可按组创建独立S3存储桶
• 现有表结构：

CREATE TABLE ingestion.alerts (
    uuid uuid PRIMARY KEY,
    payload text,
    inc_id bigint,
    group_id bigint,
    timestamp timestamp
)

CREATE TABLE ingestion.alerts_by_day (
    group_id bigint,
    date text,
    timestamp timestamp,
    uuid uuid,
    PRIMARY KEY ((group_id, date), timestamp)
)

• 限制条件：group_id数量不足2000，每组对应2000天数据；仅允许通过alerts_by_day（共400万次查询）获取当日UUID，再从alerts查询单条数据（每组每日最多100万次）；无法修改数据模型，集群空间不足无法新增节点

现有方案评估 #

• DSBulk Unload：官方原生工具，专为Cassandra大规模数据导出优化，支持高吞吐量，可通过参数精准控制并发度与资源占用，不会无节制压垮集群。能直接基于分区键过滤旧数据，适配按组按日的导出需求，是当前最匹配的轻量方案。
• 自定义程序：需处理数十亿次单条查询，效率极低，且要自行实现并发控制、故障重试等逻辑，开发维护成本极高，完全不推荐。
• Spark + Cassandra Connector：配置不当确实会给集群带来高压力，且Spark本身需要额外的计算资源（集群或云资源），开销远高于DSBulk；对于这类按分区精准导出的场景，Spark的灵活性优势无法体现，性价比极低。

推荐方案及实施步骤 #

优先采用DSBulk Unload #

DSBulk支持直接过滤旧数据、批量查询，且能直接写入S3，完全适配需求，步骤如下：

1. 批量导出alerts_by_day的旧数据
   针对3年以上的数据，按group_id+date分区过滤导出UUID列表，命令示例：

   dsbulk unload -k ingestion -t alerts_by_day \
     -query "SELECT group_id, date, uuid FROM ingestion.alerts_by_day WHERE timestamp < '2021-01-01 00:00:00'" \
     -url ./temp_partition_data \
     --max-concurrent-queries 8 \
     --page-size 10000
   

   • 参数说明：--max-concurrent-queries根据集群节点数调整（建议节点数*2），--page-size调大以提高吞吐量，同时控制单请求压力。

2. 按组按日批量导出alerts数据至S3
   编写简单Shell/Python脚本遍历第一步导出的group_id+date分区数据，将每个分区的UUID按1000个一组拆分（适配Cassandra IN查询限制），调用DSBulk批量查询alerts并直接写入对应S3路径：

   # 示例：针对group_id=1、date=311220的分区
   dsbulk unload -k ingestion -t alerts \
     -query "SELECT * FROM ingestion.alerts WHERE uuid IN ?" \
     -input-file ./temp_partition_data/group_1_311220.csv \
     -url s3://alert-bucket-1/alert-ingestion-1-311220.csv \
     --aws.access-key-id YOUR_ACCESS_KEY \
     --aws.secret-access-key YOUR_SECRET_KEY
   

   • 无需本地存储中转，直接通过DSBulk的S3写入能力完成数据上传，节省时间与成本。

3. 关键优化点

   • 选择业务低峰期执行迁移，避免影响在线服务
   • 从低并发开始测试，逐步调整--max-concurrent-queries参数，找到集群能承受的最优阈值
   • 利用alerts_by_day的分区特性，避免全表扫描，降低集群负载

备选：付费托管服务 #

若不想自行维护工具与脚本，可选择以下付费方案：

• DataStax Astra导出服务：原生支持Cassandra数据导出至S3，自动处理分区与文件生成，无需自行配置工具
• AWS Glue：Serverless批量数据处理服务，配合Cassandra连接器可调度迁移任务，自动按要求生成S3文件，按使用量付费，无需管理计算资源

迁移后验证与清理 #

• 随机抽取S3中的文件，对比Cassandra中的原始数据，确保完整性
• 确认数据无误后，删除Cassandra中的旧数据，释放集群存储空间

内容的提问来源于stack exchange，提问作者Shailesh