Cassandra中存储无序生成变长数组的可行方案咨询

方案1：Cassandra/Scylla 单分区宽行 + 轻量聚合层 #

这是对你当前方案1的优化，完全解决读取繁琐的问题：

• 主键设计为 (数组逻辑ID, 元素下标)，数组逻辑ID作为分区键，元素下标作为聚类键，值列存储对应下标的元素内容
• 写入侧无任何额外开销，每个写入器直接写入对应下标的独立单元格，天然支持乱序、并发写入，写入性能和分布式KV的单行写入一致，能打满集群带宽
• 读取侧仅需执行一次单分区查询即可拉取该数组的所有元素，不存在跨分区宽行扫描的开销，Scylla/Cassandra对单分区批量查询做了深度优化，即使单分区存储数千个元素，查询延迟也能稳定在毫秒级，仅需在业务访问层加一层极薄的排序逻辑，按下标拼接为完整数组即可

如果数组最大长度不超过1万，这个方案的读写性能都能满足绝大多数高并发场景的需求。

方案2：Scylla/Cassandra 原生List类型原子下标更新 #

如果你用的是较新版本的分布式集群，可以直接用数据库原生能力避免额外的业务层开发：

• Scylla 4.3+、Cassandra 4.0+ 均支持对非冻结List类型执行原子的下标级更新，语法为 UPDATE 表名 SET 数组列名[?] = ? WHERE 主键 = ?
• 该语法不需要执行读改写，底层实现和宽行方案一致，每个下标对应独立的存储单元格，写入性能和单行写入持平，不会产生你提到的JSON方案的大量compaction开销
• 读取时直接返回完整拼接好的数组，不需要业务层做额外聚合，是最贴合你需求的落地方案

方案3：热写缓存+两级存储兜底 #

如果你的业务允许极少量的读取延迟，还可以叠加写入侧优化进一步提升吞吐量：

• 写入侧用本地内存或者分布式缓存存储未收齐的数组元素，每累计到32/64个元素批量写入一次存储层，或者收到数组的结束标记（如果业务侧能提供）时一次性写入完整数组
• 单独新增元数据列存储数组当前已写入的元素计数，如果超过预设超时时间还没收齐，就主动把缓存中的元素刷入存储层，后续迟到的元素直接执行单单元格更新即可
• 读取时优先合并缓存和存储层的元素，返回完整数组，适合数组长度较大、写入峰谷差明显的场景

内容的提问来源于stack exchange，提问作者Blootac