Python中用None替换列表元素能否省内存？求保持索引的优化方案

我有数百万条如下格式的IP网段数据：

["1.0.0.0/24", 16777216, 16777471, "1.0.0.0", "1.0.0.255", 256, 13335, "AU", false, true, false, false],
["1.0.1.0/23", 16777472, 16777983, "1.0.1.0", "1.0.2.255", 512, null, "CN", false, false, false, false],
["1.0.3.0/24", 16777984, 16778239, "1.0.3.0", "1.0.3.255", 256, null, "CN", false, false, false, false]

这些数据已存储在JSON文件和SQLite3数据库中。为避免缓慢的文件系统调用、提升查询速度，我计划在脚本启动时将所有数据从数据库加载到内存的list中，通过二分查找定位与目标IP匹配的网段索引，判断IP是否在对应网段内。

当IP匹配网段时，我会将数据转为自定义类实例以实现强类型，并缓存结果。此时希望移除list中已处理的元素以节省内存，但二分查找要求索引保持不变，直接删除会破坏索引。我考虑用None替换对应位置的元素，另一种方案是将list转为以索引为键的dict，但后者会占用更多内存。

不过我不确定用None替换是否能节省内存，测试发现相同长度的list，无论存储何种元素，__sizeof__()结果都一致：

In [200]: ([None]*18).__sizeof__()
Out[200]: 184

In [201]: ([None]*180).__sizeof__()
Out[201]: 1480

In [202]: ([0]*180).__sizeof__()
Out[202]: 1480
...

后续补充测试也显示，存储复杂数据行的list，替换部分元素为None后，__sizeof__()结果仍不变。

我的查询逻辑如下（未完成可运行代码）：

STARTS = [row[1] for row in data]
ENDS = [row[2] for row in data]

store = {}
def query(ip):
    if ip in store:
        return store[ip]
    index = bisect(STARTS, ip) - 1
    if index >= 0:
        if not STARTS[index] <= ip <= ENDS[index]:
            return
        if index in store:
            result = store[index]
            store[ip] = result
            return result
        row = data[index]
        data[index] = None
        result = Network(row)
        store[index] = result
        store[ip] = result
        return result

性能测试显示，SQLite3单条查询耗时约40ms，而bisect查询仅需341ns。目前加载所有IPv4（567778行）和IPv6（446631行）数据共占用约500MiB内存，提前创建所有自定义类实例会超出可用内存。

请问：用None替换列表元素能否节省内存？如果不能，有没有更好的在保持索引的同时移除元素的方法？

1. 用None替换列表元素能否节省内存？ #

能，但__sizeof__()无法体现这一点。

Python列表本身只存储元素的引用指针，__sizeof__()返回的是列表结构本身的内存占用（比如指针数组的大小），和元素实际占用的内存无关。当你把列表中的复杂行数据替换成None时，原来的行数据（包含多个字符串、数字的列表）会失去所有引用，被Python的垃圾回收机制（GC）自动回收，从而释放这部分内存。你的测试中__sizeof__()不变是正常的——列表的结构大小没变化，但被替换掉的原数据所占用的内存会被释放，实际内存使用量会下降。

2. 保持索引同时优化内存的更好方法 #

（1）拆分数据，仅加载二分查找必需字段 #

你当前的STARTS和ENDS已经是二分查找的核心依赖，原data列表中的其他字段只有在匹配到IP时才需要。可以调整为：

• 启动时只加载STARTS、ENDS和原数据的数据库主键/行号，不加载完整行数据，初始内存占用会大幅降低（比如从500MiB降到几十MiB）。
• 当匹配到IP时，根据主键/行号从SQLite3查询对应行的完整数据，转为Network实例后缓存。
• 缺点是首次匹配该网段时会触发一次数据库查询（40ms），但后续相同网段的IP查询会走缓存，适合查询热度不均的场景（大部分网段很少被查询）。

（2）使用弱引用缓存网段实例 #

如果坚持把所有数据加载到内存，可以用弱引用字典缓存Network实例，无需修改原数据列表：

• 创建Network实例后，用weakref.ref将实例存入缓存字典（键为索引）。
• 当没有IP引用该实例时，GC会自动回收实例和原行数据的内存（如果原行数据无其他引用）。
• 这种方式不需要手动修改原列表，索引保持完整，同时自动释放未被使用的实例内存。

（3）维护处理标记数组 #

可以单独维护一个布尔型数组processed，记录哪些索引已经被处理：

• 二分查找得到索引后，先检查processed[index]，如果已处理则直接从缓存取结果；未处理则加载数据、创建实例并标记processed[index] = True。
• 这种方式不需要修改原数据列表，内存效果和None替换类似，但逻辑更清晰，避免了对原列表的直接修改。

内容的提问来源于stack exchange，提问作者Ξένη Γήινος