Python 2.7千万级10字符字符串Set内存占用过高的优化问询

你遇到的问题非常典型——Python的原生字符串和Set结构本身有不小的内存开销，导致实际占用远超过字符串内容的理论大小。我们先拆解一下内存高的原因，再给出几个实用的优化方案：

为什么内存占用远超预期？ #

在64位Python 2.7中：

• 每个str对象的头部开销就有约40字节（包含引用计数、类型指针、长度、哈希值等），再加上10字节的字符串内容，单个字符串就占了~50字节。
• Set是基于哈希表实现的，为了保持查询效率，哈希表会预留约30%的空桶（负载因子约0.7）。1000万元素的Set需要约1400万个桶，每个桶是一个8字节的指针，这就占了~110MB。

两者加起来，1000万元素的内存占用轻松突破500MB，再加上进程本身的其他开销，接近1G是完全合理的。

优化方案 #

方案1：将字符串转换为整数存储（利用Python大整数） #

既然你的字符串是10字节长度的纯字节串（0-255），可以把它直接转换成一个大整数，用整数代替字符串存入Set。整数的内存开销比字符串略小，且查询效率和原生Set一致。

代码示例：

import random

def randstr():
    return ''.join(random.choice('abcdefghijklmnopqrstruvwxyz') for i in range(10))

def str_to_int(s):
    # Python 2.7没有int.from_bytes，手动实现转换
    result = 0
    for c in s:
        result = (result << 8) | ord(c)
    return result

s = set()
for i in range(10*1000*1000):
    s.add(str_to_int(randstr()))

优缺点：

• 优点：无需第三方库，修改成本低，查询速度和原生Set一致。
• 缺点：内存优化幅度有限（约减少20%-30%），处理5亿数据时仍然会占用大量内存。

方案2：使用Roaring Bitmap存储整数集合（推荐处理超大规模数据） #

Roaring Bitmap是一种高效的整数集合存储结构，尤其适合稀疏或大规模的整数集合，内存占用比原生Set低一个数量级。我们可以先把字符串转换成整数，再用Roaring Bitmap存储。

需要先安装支持Python 2.7的Roaring Bitmap库（比如pyroaring，注意确认Python 2.7兼容性）：

pip install pyroaring

代码示例：

import random
import pyroaring

def randstr():
    return ''.join(random.choice('abcdefghijklmnopqrstruvwxyz') for i in range(10))

def str_to_int(s):
    result = 0
    for c in s:
        result = (result << 8) | ord(c)
    return result

rb = pyroaring.RoaringBitmap()
for i in range(10*1000*1000):
    rb.add(str_to_int(randstr()))

# 查询示例
target_str = randstr()
target_int = str_to_int(target_str)
print(target_int in rb)

优缺点：

• 优点：内存占用极低（1000万随机整数可能仅需100-200MB），查询速度接近O(1)，支持海量数据（5亿级也能勉强放入内存，或结合分片处理）。
• 缺点：需要依赖第三方库，字符串转整数有轻微的额外开销。

方案3：分层哈希分组（减少单个Set的哈希表开销） #

把字符串按前缀拆分，用字典存储多个小Set：比如将10字符字符串拆分为前3字符（作为字典的Key）和后7字符（存入对应Key的Set）。这样每个小Set的元素数量更少，哈希表的空桶开销会降低。

代码示例：

import random

def randstr():
    return ''.join(random.choice('abcdefghijklmnopqrstruvwxyz') for i in range(10))

grouped = {}
for i in range(10*1000*1000):
    s = randstr()
    prefix = s[:3]
    suffix = s[3:]
    if prefix not in grouped:
        grouped[prefix] = set()
    grouped[prefix].add(suffix)

# 查询示例
target_str = randstr()
prefix = target_str[:3]
suffix = target_str[3:]
print(prefix in grouped and suffix in grouped[prefix])

优缺点：

• 优点：无需第三方库，内存占用约减少10%-20%，查询速度几乎和原生Set一致（多一层字典查询）。
• 缺点：优化幅度有限，处理5亿数据时仍然压力较大。

针对1-5亿级数据的额外建议 #

如果要处理5亿级别的数据，即使优化后的内存占用可能还是超出单台机器的内存上限，建议：

• 采用分片处理：将数据按哈希值拆分到多个文件或内存分片，查询时仅检查对应分片。
• 结合内存数据库：比如使用SQLite的内存模式（:memory:），创建唯一索引，查询速度接近Set，且支持更大规模的数据。

内容的提问来源于stack exchange，提问作者Basj