GPU索引（GPU_CAGRA等）加载机制及CPU内存对GPU利用率的影响咨询

加载流程说明 #

• 针对GPU_IVF_FLAT：
  它的结构包含倒排索引表（聚类中心+桶映射关系）和量化后的向量数据。加载时，倒排索引表会先加载到CPU内存，但向量数据无需全量加载到CPU——而是采用按需加载策略：仅当查询命中某个桶时，才将该桶对应的向量子集从存储加载到GPU内存池。
• 针对GPU_CAGRA：
  作为GPU原生的图结构索引，构建完成后可直接存储为GPU兼容格式。加载时支持直接从存储将完整索引加载到GPU内存，无需经过CPU内存中转；仅少量索引元数据（如维度、图结构参数）会占用极小的CPU内存空间。

内存限制与GPU利用率分析 #

当CPU内存为10GB、GPU内存为100GB时，不会受限于CPU内存导致GPU利用率不足：

• 对于GPU_IVF_FLAT：核心的向量数据可直接驻留在GPU内存，仅倒排索引表需要占用CPU内存，而倒排表的体积远小于向量数据本身，10GB CPU内存足以支撑远超100GB向量集的倒排表存储。
• 对于GPU_CAGRA：完整索引直接加载到GPU内存，CPU仅需存储少量元数据，内存占用可忽略，完全可以利用100GB GPU内存存储大规模索引。

内容的提问来源于stack exchange，提问作者Qi Xiang