在PolarDB IMCI中实现多向量检索与Late Fusion评分的查询方案

问题1：是否可在同一张表的两个不同列上分别创建独立的HNSW索引？ #

可以。PolarDB IMCI支持在同一张表的不同向量列上创建独立的HNSW索引，只需针对每个向量列单独执行建索引语句即可。示例代码如下（可根据实际使用的距离度量调整算子，比如内积vector_ip_ops、余弦相似度vector_cosine_ops）：

CREATE INDEX idx_text_emb ON docs USING hnsw (text_embedding vector_l2_ops);
CREATE INDEX idx_image_emb ON docs USING hnsw (image_embedding vector_l2_ops);

问题2：编写能执行两次向量距离计算并合并结果的SQL查询，最高效的方式是什么？ #

最高效的方式是通过分批次取候选+内存合并计算的思路，利用两个HNSW索引分别获取足量候选结果，再在小范围内合并计算加权得分并排序，避免全表扫描。示例SQL如下（以检索与给定text_query和image_query最相似的前10条文档为例）：

WITH text_candidates AS (
    SELECT 
        id,
        (text_embedding <-> :text_query) AS text_score,
        0 AS image_score
    FROM docs
    ORDER BY text_embedding <-> :text_query
    LIMIT 50 -- 取足量候选，降低漏检最优结果的概率
),
image_candidates AS (
    SELECT 
        id,
        0 AS text_score,
        (image_embedding <-> :image_query) AS image_score
    FROM docs
    ORDER BY image_embedding <-> :image_query
    LIMIT 50
),
combined_candidates AS (
    SELECT id, text_score, image_score FROM text_candidates
    UNION ALL
    SELECT id, text_score, image_score FROM image_candidates
),
final_scores AS (
    SELECT 
        id,
        MAX(text_score) AS text_score,
        MAX(image_score) AS image_score,
        (0.7 * MAX(text_score)) + (0.3 * MAX(image_score)) AS final_score
    FROM combined_candidates
    GROUP BY id
)
SELECT id, final_score
FROM final_scores
ORDER BY final_score
LIMIT 10;

这种方式让两个HNSW索引都能被有效利用，后续的合并、分组、排序仅基于小范围候选集，性能开销极低。

问题3：针对此类查询，优化器能否同时使用两个HNSW索引，还是会因ORDER BY中的复杂表达式退化为全表扫描？ #

如果直接在主查询中同时计算两个向量距离并基于加权表达式排序，优化器通常无法识别到可同时调用两个HNSW索引，大概率会触发全表扫描。但采用上述分CTE获取候选的方式时，每个子查询会单独使用对应的HNSW索引获取topN候选，优化器会为每个子查询选择最优索引执行，不会退化为全表扫描。

内容的提问来源于stack exchange，提问作者大兔崽子