如何在Cassandra中实现长效数据留存？（3.11/4.0版本）

针对你需要保留最近2年数据用于实时查询、更早2年数据用于审计的需求，以下是几个可行的落地方案：

1. 冷热表拆分 + 定时迁移 #

这是兼容性最强的方案，3.11和4.0都适用：

• 表结构设计：创建两张结构一致的表，比如business_data_hot（存最近2年数据）和business_data_cold（存更早2年数据）。热表绑定SSD存储保证实时查询性能，冷表用HDD降低存储成本。
• 数据迁移：每月/每周定时执行批量迁移任务，筛选热表中时间超过2年的数据，插入冷表后删除热表对应数据。可以用Spark Cassandra Connector高效处理，或者用cqlsh结合脚本实现。示例筛选旧数据的CQL：

  SELECT * FROM business_data_hot WHERE event_time < '2022-01-01 00:00:00';
  

• 查询路由：应用层根据查询时间范围自动选表：实时业务查热表，审计需求查冷表。如果不想修改应用代码，也可以创建物化视图（3.11+支持）统一查询入口，但会带来额外存储开销。

2. 基于TWCS的SSTable分层存储 #

如果你的数据是时间序列类型，Time Window Compaction Strategy (TWCS) 是更高效的选择：

• 配置TWCS：给表设置TWCS压缩策略，让相同时间窗口的SSTable合并在一起，方便后续归档：

  ALTER TABLE business_data WITH compaction = {
    'class': 'org.apache.cassandra.db.compaction.TimeWindowCompactionStrategy',
    'compaction_window_unit': 'DAYS',
    'compaction_window_size': 1,
    'max_sstable_age_days': 730  -- 2年，超过这个时间的SSTable不再参与压缩
  };
  

• 归档旧SSTable：定期把超过2年的SSTable移动到冷存储目录（比如挂载的HDD），或者导出到单独的冷集群。可以先用nodetool flush刷新内存数据到SSTable，再用nodetool movesstables命令移动指定时间范围的文件。
• 优势：无需拆分表，通过压缩策略和存储介质区分冷热数据，减少数据迁移的复杂度。

3. 归档到对象存储 + 按需恢复 #

如果审计查询频率极低，可将旧数据归档到低成本对象存储，需要时再恢复：

• 数据导出：用nodetool snapshot对目标表创建快照，将快照文件打包后上传到对象存储；或者用COPY命令导出为CSV文件：

  COPY business_data TO 'old_data_2020-2022.csv' WITH WHERE = 'event_time >= ''2020-01-01'' AND event_time < ''2022-01-01''';
  

• 审计查询：需要时将快照或CSV导入到临时Cassandra表，完成审计后删除临时表即可。这种方式能大幅降低长期存储成本，适合审计需求很少的场景。

4. Cassandra 4.0 原生归档功能（仅4.0支持） #

Cassandra 4.0新增了原生数据归档功能，可自动将旧数据归档到外部存储：

• 配置归档策略：在表中设置归档规则，指定归档时间阈值和存储目标：

  ALTER TABLE business_data WITH archive = {
    'class': 'org.apache.cassandra.db.archive.S3ArchiveStrategy',
    'archive_after_days': 730,  -- 2年后归档
    'bucket': 'cassandra-audit-archive',
    'region': 'us-west-2'
  };
  

• 自动归档与查询：Cassandra会定期将超过阈值的数据归档到S3，当查询涉及归档数据时，会自动从S3拉取并返回结果（无需手动恢复）。这个方案无需额外开发，适合使用4.0版本的用户。

关键注意事项 #

• 分区键设计：必须将时间字段（如event_time）作为分区键的一部分，否则无法高效筛选和迁移旧数据。
• 数据一致性：迁移或归档时，建议先写入目标存储再删除源数据，避免数据丢失；也可以开启Cassandra的增量备份作为兜底。
• 资源优化：冷表可以设置更低的复制因子（比如1），减少存储和同步开销；冷存储节点可降低CPU、内存配置，进一步节省成本。

内容的提问来源于stack exchange，提问作者Avis