如何在Python中存储ID以避免每个int占用28字节的内存开销？

针对你提到的数百万int类型ID在字典结构中内存占用过高的问题，以下是几个实用的解决方案，均适配非连续的键值对场景：

1. 数组映射+小索引替代原始ID #

核心思路是把所有唯一ID存入4字节紧凑存储的数组，再用数组的索引（小整数）代替原始ID作为字典的键/值：

• 用array.array('I')存储所有唯一ID，每个元素仅占4字节（无符号32位整数，正好匹配你的需求）。
• 创建映射字典id_to_idx，将原始ID映射到数组的索引（Python会缓存-5到256的整数，即使索引超过这个范围，大整数的重复使用也比大量分散的大ID内存开销低）。
• 后续所有字典/嵌套字典操作都使用索引，而非原始ID。

示例代码：

import array

# 收集所有唯一ID（假设已从业务逻辑中提取出unique_ids列表）
unique_ids = [100000, 200000, 300000, ...]
id_array = array.array('I', unique_ids)
id_to_idx = {id_val: idx for idx, id_val in enumerate(id_array)}

# 构建嵌套字典时用索引替代原始ID
nested_dict = {
    id_to_idx[100000]: {
        id_to_idx[200000]: id_to_idx[300000]
    }
}

# 如需还原原始ID，直接通过数组索引获取
original_id = id_array[some_index]

2. 自定义轻量级ID类（享元模式+slots） #

通过享元模式复用相同ID的实例，并用__slots__消除Python对象默认的__dict__内存开销，大幅降低单个ID实例的占用：

class CompactID:
    _pool = {}
    __slots__ = ('_value',)  # 禁用__dict__，减少内存开销

    def __new__(cls, value):
        # 复用已创建的实例，避免重复内存分配
        if value not in cls._pool:
            instance = super().__new__(cls)
            instance._value = value
            cls._pool[value] = instance
        return cls._pool[value]

    def __hash__(self):
        return self._value  # 保证可作为字典键

    def __eq__(self, other):
        return isinstance(other, CompactID) and self._value == other._value

    # 可选：支持转成int类型，兼容原有逻辑
    def __int__(self):
        return self._value

# 使用示例
my_dict = {CompactID(123456): CompactID(789012)}

这个方案中，重复的ID只会占用一份内存，且每个实例的内存远小于原生Python int。

3. 切换到PyPy解释器 #

PyPy对整数的内存管理比CPython高效得多，尤其是针对大量整数的场景：

• PyPy的整数对象内存占用更低，且会自动优化重复整数的存储。
• PyPy的字典实现也比CPython更紧凑，能进一步降低嵌套字典的整体内存开销。
• 无需修改现有代码（只要不依赖CPython专属扩展），直接运行即可获得内存占用的下降。

4. 优化ID同时作为键和值的场景 #

如果你的场景中确实需要同时把ID作为键和值，尽量通过上面的方案统一使用索引或轻量级实例，而非原生int。原生int作为键和值时，每个实例都会独立占用内存，而复用的索引或轻量级实例只会存储一次。

内容的提问来源于stack exchange，提问作者SRobertJames