为何实测NumPy数组内存占用高于Python列表?求原因解析
为什么你测出来Python列表内存比NumPy数组小
测试过程存在两个关键偏差
- 计算Python列表内存的方法从根上就不对
sys.getsizeof()对Python内置容器(列表、元组、字典等)的计算逻辑非常特殊:它只会返回容器自身维护连续指针块占用的内存大小,根本不会递归计算容器里存储的所有实际Python对象的内存。
举个直观的例子:空列表本身在64位Python环境下大概占40字节,哪怕你往里面塞1000个整数的引用,sys.getsizeof()只会把这1000个指针占的内存算上,完全不会统计每个整数对象本身的内存开销。 - 你写的Python列表创建代码本身就有结构坑
你用的A = [[0] * 10] * 10写法,生成的外层列表里10个元素全是同一个内层列表的引用,根本没有生成10个独立的内层列表。哪怕你修改其中一行的元素,其他所有行的值都会同步变化。也就是说你当前测试的这个列表,本质上只额外挂载了1个内层列表,根本没有对应10行独立结构的开销,测出来的内存值本来就严重偏小。
两边的计算口径完全不对等
你计算NumPy数组内存的逻辑是全量的:Z.size * Z.itemsize 把数组里所有连续存储的原生数值的内存全部算进去了,没有遗漏任何结构开销。
但你计算Python列表的时候,既没算每个内层列表本身的容器结构开销,也没算所有列表项指针的完整开销,只算了最外层列表的一小部分指针开销,两边量度根本不匹配,自然会得出列表内存更小的错误结论。
同口径下的正确测试参考
你可以用下面的代码做无偏差对比:
import sys import numpy as np def calc_list_total_memory(target_list): total_memory = sys.getsizeof(target_list) for element in target_list: if isinstance(element, list): total_memory += calc_list_total_memory(element) else: total_memory += sys.getsizeof(element) return total_memory # 逐行生成无引用坑的独立嵌套列表 A = [[0]*10 for _ in range(10)] Z = np.zeros((10,10), dtype=int) print(f"Python列表全量内存: {calc_list_total_memory(A)} bytes") print(f"NumPy数组全量内存: {Z.size * Z.itemsize} bytes")
64位Python环境下运行这段代码,通常会得到类似的结果:
- Python列表的全量内存会在8000字节以上
- NumPy数组因为默认dtype是int64,总内存仅为10108=800字节
哪怕你把NumPy的dtype改成更小的int8,总内存会进一步降到100字节,远小于Python列表的开销。
补充常见误区:很多人知道Python里小整数(比如0)是全局缓存的,不会重复创建占内存,就误以为列表的开销很小。但哪怕列表里全是指向同一个全局0的引用,每个64位指针本身就要占8字节,每个内层列表还要额外占几十字节的结构管理开销,这些成本累加起来远高于NumPy直接存储原生数值的开销。
内容的提问来源于stack exchange,提问作者Teja Kompella
相关产品推荐
相关产品推荐

