向Faiss Index添加400万嵌入时遇内存错误的解决咨询

我正在学习Faiss，尝试以IndexFlatIP作为量化器构建IndexIVFFlat索引，处理4000000个维度d=256的数组。代码如下：

import numpy as np
import faiss

d = 256 # 每个特征向量的维度
n = 4000000 # 向量数量
cells = 100 # Voronoi单元格数量

embeddings = np.random.rand(n, d)

quantizer = faiss.IndexFlatIP(d)
index = faiss.IndexIVFFlat(quantizer, d, cells)
index.train(embeddings) # 训练索引

上述代码训练环节运行正常，但执行index.add(embeddings)时出现以下异常：

numpy.core._exceptions._ArrayMemoryError: Unable to allocate 4.01 GiB for an array with shape (4000000, 256) and data type float32

我的机器有20.0GB内存，这是否意味着索引无法放入内存？该如何解决并正确配置索引以适配内存？

这个错误并非索引本身放不下，核心原因是Faiss在add操作时会自动将输入数组转换为float32格式，而你当前的embeddings是默认的float64类型，转换过程中需要额外的内存空间存储临时数组，叠加原数组和系统其他占用后，触发了内存分配失败。

原因拆解 #

• np.random.rand生成的是float64数组，4000000×256的float64数组占用：4e6×256×8字节 = 8.02 GiB
• Faiss内部统一用float32处理向量，add时会生成一个float32版本的临时数组，占用4.01 GiB
• 加上索引本身、系统进程的内存占用，20GB内存的峰值负载被瞬间拉满，导致分配失败。

具体解决方法 #

1. 提前将数组转为float32
   生成embeddings时直接指定数据类型，避免转换时的额外内存开销：

   embeddings = np.random.rand(n, d).astype('float32')
   

   这样数组本身仅占4.01 GiB，后续add无需再转换，内存占用直接减半。

2. 分批添加向量
   如果内存仍有压力，可以将数据分成多批逐批添加，降低峰值内存占用：

   batch_size = 1000000
   for i in range(0, n, batch_size):
       batch = embeddings[i:i+batch_size]
       index.add(batch)
   

   每次仅加载一批数据到内存，避免一次性占用大量空间。

3. 改用量化索引压缩内存
   如果不需要保留原向量的完整精度，推荐使用**乘积量化索引（IndexIVFPQ）**替代IndexIVFFlat，它会把向量压缩到极小的存储空间：

   m = 8  # 乘积量化的子向量拆分数量
   bits = 8 # 每个子向量的量化位数
   quantizer = faiss.IndexFlatIP(d)
   index = faiss.IndexIVFPQ(quantizer, d, cells, m, bits)
   index.train(embeddings)
   index.add(embeddings)
   

   这种配置下，每个向量的存储空间从1024字节（256×4）降到64字节（8×8），内存占用仅为原IndexIVFFlat的1/16，适合超大规模数据场景。

内容的提问来源于stack exchange，提问作者Johnny