为何TWCS未自动压缩Cassandra的被覆盖/带墓碑行？

问题背景 #

现有一张80GB的Cassandra表，原默认TTL过小，需更新默认TTL并覆盖所有行，要求操作不影响性能。测试时修改了表配置，采用TimeWindowCompactionStrategy（TWCS），具体配置如下：

AND compaction =  {'class' : 'TimeWindowCompactionStrategy',
    'compaction_window_unit' : 'MINUTES',
    'compaction_window_size' : 10 ,
    'tombstone_compaction_interval': 60,
    'log_all': true }
AND default_time_to_live = 86400
AND gc_grace_seconds = 100
AND max_index_interval = 2048
AND memtable_flush_period_in_ms = 0
AND min_index_interval = 128
AND speculative_retry = '99PERCENTILE';

测试场景与现象 #

场景1：直接覆盖所有行（无墓碑生成）

操作步骤：写入数据→nodetool flush→覆盖所有行→nodetool flush
一小时后仍存在两个独立SSTable：

-rw-r--r-- 1 cassandra cassandra 4.7M Jan 30 14:04 md-1-big-Data.db
-rw-r--r-- 1 cassandra cassandra 4.7M Jan 30 14:11 md-2-big-Data.db

手动执行nodetool compact可合并为单个4.7MB的SSTable，但自动压缩未触发。

场景2：先删除所有行再重写（生成墓碑）

操作后同样存在两个未合并的SSTable：

-rw-r--r-- 1 cassandra cassandra 4.7M Jan 30 16:16 md-4-big-Data.db
-rw-r--r-- 1 cassandra cassandra 6.2M Jan 30 16:35 md-5-big-Data.db

核心疑问：旧行/墓碑与新行可合并为单个条目，为何TWCS未触发自动压缩？

原因分析 #

TWCS的核心逻辑是按时间窗口对SSTable分组，仅合并同一时间窗口内的SSTable，不同窗口的SSTable不会自动触发合并：

1. 场景1：两个SSTable的生成时间分别为14:04和14:11，窗口大小设为10分钟，14:04属于14:00-14:10窗口，14:11属于14:10-14:20窗口，分属不同时间窗口，因此TWCS不会自动合并。手动nodetool compact是强制全量合并，不受窗口限制，所以能成功合并。
2. 场景2：两个SSTable生成时间16:16（16:10-16:20窗口）和16:35（16:30-16:40窗口），同样属于不同时间窗口，TWCS不会触发自动合并。

另外，tombstone_compaction_interval仅控制同一窗口内SSTable的墓碑清理触发间隔，且需满足墓碑占比阈值（默认20%）才会触发，跨窗口的SSTable无法通过该参数触发合并。

针对业务需求的优化方案 #

你的核心需求是更新默认TTL并覆盖80GB数据，同时避免影响性能，可采用以下方案：

方案1：临时调整TWCS窗口大小 #

临时将compaction_window_size调大（例如设为60分钟），确保覆盖操作生成的新旧SSTable落在同一时间窗口内，TWCS会自动合并这些SSTable。完成操作后再将窗口大小调回原配置。

方案2：临时切换至LeveledCompactionStrategy（LCS） #

LCS更适合处理频繁更新/覆盖的场景，会自动合并存在数据重叠的SSTable，能快速清理旧数据与墓碑。操作步骤：

1. 在业务低峰期将表压缩策略切换为LCS；
2. 执行全量覆盖操作；
3. 确认SSTable合并完成后，切回TWCS（切换会触发一次全量压缩，需提前评估资源消耗）。

方案3：分批次覆盖数据 #

避免一次性覆盖所有行，按分区键范围分批次执行覆盖操作，每次操作的时间控制在当前TWCS窗口内，确保新生成的SSTable与旧SSTable处于同一窗口，让TWCS逐步完成合并。

注意事项 #

你设置的gc_grace_seconds=100数值较小，生产集群中需确保所有节点完成数据同步后再执行操作，避免出现数据不一致；单节点测试场景可忽略，但操作完成后建议调回合理值（默认86400秒）。

内容的提问来源于stack exchange，提问作者Adam Szecowka