Python加载大数据内存估算及LLAMA2模型加载内存开销探究

• 基础数据类型内存核算：先明确数据的底层类型，64位系统中，Python原生int（超出小对象池范围）占28字节，float占24字节；NumPy数组直接用arr.nbytes获取数据区内存，再加上约96字节的数组对象头开销；Pandas DataFrame用df.memory_usage(deep=True).sum()，deep=True会递归计算对象类型列的实际内存占用。
• 容器结构的额外开销：列表、字典这类容器本身有内存开销，64位系统中每个元素的指针占8字节，列表会预留当前长度1.5倍左右的容量空间，字典的哈希表则会预留已用槽位2倍的空间，这些预留内存都要计入总占用。
• 加载过程的临时开销：从文件加载数据（如CSV、Pickle）时，解析阶段会生成临时字符串、中间数组等对象，这部分开销通常是最终数据大小的10%-30%，可以通过加载前后的RSS内存差值估算。
• 第三方库的对象元数据：比如PyTorch张量，除了数据存储内存，每个张量还有形状、数据类型、设备信息等元数据，单个张量元数据占200-500字节，大量小张量的话这部分累加不可忽略。

额外内存开销的来源 #

• PyTorch张量元数据：LLaMA2的参数被拆分为大量张量（如各层的weight、bias），每个张量都有独立的元数据（形状、dtype、梯度状态等），单个张量元数据约200-500字节，累加后会产生几百MB的开销。
• torch.load的临时对象：加载.pth文件时，PyTorch会先解析序列化数据，生成临时字典、列表等结构存储参数，这些临时对象不会立即被垃圾回收（GC），会占用部分内存直到下一次GC触发。
• 模型模块的Python对象开销：模型的每个子模块（如nn.Linear、nn.LayerNorm）都是Python对象，每个对象包含属性、方法等，单个模块对象占几百字节，大量模块累加后也会产生可观开销。
• 内存对齐浪费：操作系统和硬件要求内存按8或16字节对齐，小参数张量的内存分配会因对齐产生少量浪费，大量小张量的情况下这部分浪费会被放大。

Python中其他内存开销的建模方法 #

• 库导入开销：
  • 导入库前用process.memory_info().rss记录当前内存，导入后再次记录，两次的差值即为该库导入的内存开销；对于PyTorch这类复杂库，可多次测试取平均值降低误差。
• 全局对象与缓存开销：
  • 用gc.get_objects()遍历所有存活对象，结合sys.getsizeof()统计不同类型对象的数量和内存占用（注意sys.getsizeof()仅计算对象本身，需递归计算其引用的子对象内存），以此建模全局缓存、预初始化资源的开销。
• 类与实例开销：
  • 单个类/函数对象的内存用sys.getsizeof()计算；自定义类实例的总开销为实例数量乘以单个实例的内存（包含所有属性的内存占用），可通过创建多个实例测试平均开销。
• 内存泄漏追踪：
  • 使用tracemalloc模块生成不同阶段的内存快照，对比快照找出持续增长的内存区域，比如未释放的临时对象、循环引用，将这部分作为建模时的额外开销项。

内容的提问来源于stack exchange，提问作者user23537554