带与不带mall_id过滤的Cassandra向量相似性查询性能差异问题

原因分析 #

1. 全局SAI向量索引无法配合分区键过滤
   你创建的feature_ann_index_cos是全局的向量SAI索引，不带mall_id过滤时，查询直接利用这个全局索引执行近似最近邻（ANN）搜索，能快速定位相似向量。但当添加mall_id = ?的过滤条件后，Cassandra无法将全局向量索引与分区键过滤结合使用——此时查询会先定位到目标分区，然后全扫描该分区内的所有数据，逐一计算向量相似度再排序，当该分区数据量较大时，性能会显著下降。

2. 分区内无专用向量索引
   当前的SAI索引没有关联分区键，导致限定分区后，无法在分区内复用向量索引的ANN搜索能力，只能通过全分区扫描完成计算，这是性能差异的核心原因。

优化方案 #

1. 创建分区感知的复合SAI向量索引（Cassandra 4.1+） #

在Cassandra 4.1及以上版本，支持创建包含分区键的复合SAI向量索引，让查询同时利用分区过滤和向量索引的ANN能力：

CREATE INDEX IF NOT EXISTS feature_mall_vc_ann_index_cos
    ON cycling.feature(mall_id, vc) USING 'sai'
    WITH OPTIONS = { 'similarity_function': 'cosine' };

创建该索引后，带mall_id过滤的查询会先通过分区键定位目标分区，再在分区内利用向量索引执行ANN搜索，大幅提升性能。

2. 验证查询执行计划 #

使用EXPLAIN命令查看查询的实际执行路径，确认索引是否生效：

EXPLAIN SELECT similarity_cosine(vc, ?) AS sim FROM cycling.feature WHERE mall_id = ? ORDER BY vc ANN OF ? LIMIT 1;

如果输出中显示Full Scan，说明索引未被使用，需检查索引定义是否正确，或Cassandra版本是否支持复合向量索引。

3. 调整数据模型（针对旧版本Cassandra） #

如果使用的是Cassandra 4.1以下版本，无法创建复合SAI向量索引，可考虑：

• 将mall_id与其他字段组合成更细粒度的分区键，减少单个分区内的数据量，降低全扫描的开销；
• 针对每个mall_id单独维护向量索引（比如使用外部向量数据库配合Cassandra存储元数据，但需避免引入额外复杂度）。

内容的提问来源于stack exchange，提问作者Ma x