ScyllaDB 6.1开源版TimeWindowCompactionStrategy异常行为排查

环境与配置 #

使用ScyllaDB 6.1开源版，表存储30天数据，压缩策略配置如下：

compaction = {
'class': 'TimeWindowCompactionStrategy',
'compaction_window_size': '3',
'compaction_window_unit': 'DAYS',
'max_threshold': '32',
'min_threshold': '4'
}

观察到的异常行为 #

• 1月7日前：表中SSTables按3天窗口分组（如12月23日、12月25日、12月28日、12月31日、1月3日），符合策略预期。
• 1月7日：自动压缩触发后，生成仅包含1月7日数据的SSTable，未遵循3天窗口分组规则。

额外发现 #

同一3天窗口内存在多个小型SSTables，并未合并为单个大表，即使配置了min_threshold = 4和max_threshold = 32。

疑问解答 #

1. 为何1月7日压缩仅生成当天SSTable？
   TimeWindowCompactionStrategy（TWCS）将SSTables分为活跃窗口和历史窗口两类：活跃窗口指包含当前写入数据的窗口，采用SizeTieredCompactionStrategy（STCS）的逻辑按大小分层压缩；只有当窗口变为历史窗口（窗口结束时间 + gc_grace_seconds < 当前时间），才会将窗口内所有SSTables合并为单个表。1月7日的数据属于当前活跃窗口，压缩遵循STCS规则，而非直接合并整个3天窗口，因此生成仅包含当天数据的SSTable是正常的活跃窗口行为。

2. 为何同一窗口内的小型SSTables未合并？
   活跃窗口采用STCS压缩逻辑，合并触发需要满足两个核心条件：

   • 同一大小层级内的SSTable数量达到min_threshold（配置为4）；
   • SSTable大小不低于min_sstable_size（默认50MB）。
     如果这些小型SSTables分属不同大小层级，或数量未达标、单表尺寸低于默认阈值，就不会触发合并。

3. TWCS是否有跳过压缩的情况或在仅插入负载下表现不同？
   在仅插入负载下，TWCS的活跃窗口完全遵循STCS行为；历史窗口仅当SSTable数量达标或窗口过期后才会触发全合并。若某窗口内SSTable数量过少（低于min_threshold），即使窗口过期也不会自动合并，需手动触发。此外，系统高负载时压缩任务会被延迟，表现为“未触发压缩”。

4. 是否与自动压缩触发机制或未覆盖的内部阈值有关？
   是的。自动压缩触发依赖于：

   • 活跃窗口：STCS的大小层级数量、单表尺寸阈值；
   • 历史窗口：窗口是否过期、SSTable数量是否达标。
     未显式配置的内部阈值如min_sstable_size（默认50MB）、tombstone_threshold（默认0.2）也会影响触发逻辑，其中小型SSTables因低于min_sstable_size可能被排除在合并队列外。

排查思路 #

• 查看SSTable元数据：执行nodetool tablestats <keyspace>.<table>获取每个SSTable的时间范围、大小、所属窗口；用nodetool compactionhistory确认1月7日压缩任务的类型（STCS/TWCS）。
• 验证活跃窗口判定：通过公式计算窗口起始时间：窗口起始 = floor((数据最小时间戳) / (窗口大小*单位秒数)) * (窗口大小*单位秒数)，对比当前时间是否落在该窗口内。
• 检查完整配置：在cqlsh中执行DESCRIBE TABLE <keyspace>.<table>，确认是否存在未显式配置的压缩参数（如min_sstable_size）。
• 监控系统负载：用nodetool tpstats查看压缩线程的繁忙状态，确认是否有任务阻塞。

解决方案建议 #

1. 调整活跃窗口压缩参数：若希望小型SSTables更快合并，可降低min_threshold（如设为2）或调小min_sstable_size（如设为10MB），但需注意这会增加压缩频率，可能影响写入性能。
2. 手动触发历史窗口合并：对于已过期的非活跃窗口，执行nodetool compact <keyspace>.<table> -t <窗口起始时间>手动触发全窗口合并。
3. 优化窗口过期逻辑：适当减小gc_grace_seconds（默认1天），让窗口更快转为历史窗口触发合并，但需确保墓碑清理周期符合业务需求，避免数据丢失。
4. 定期监控压缩状态：用nodetool compactionstats跟踪压缩进度，tablestats查看SSTable分布，及时发现并处理异常。

内容的提问来源于stack exchange，提问作者Naman kaushik