You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何低内存存储并排序出现过的固定汉明重量整数?

高效去重与集合操作方案(适配大n_qubits场景)

先抓核心特性:固定汉明重量是最优优化的突破口

你所有目标整数的汉明重量都是固定的(n_e = n_q//2),这比用通用哈希/二叉树的效率高几个量级——不用对整个整数做哈希或排序,直接基于组合数的结构来存储。

方案1:位图+组合数映射(优先选,内存/时间双优)

对于汉明重量为k的n_q位整数,总共有C(n_q, k)个可能值。我们可以把每个符合条件的整数映射到0到C(n_q,k)-1的唯一索引,然后用位图(Bitmap)标记该索引对应的整数是否已出现:

  • 映射方法:预计算组合数表,按二进制位从高到低快速推导索引——比如对整数x,每遇到1位,就加上该位之后能选k-1个1的组合数,直到k减到0。反向推导未出现整数时,也可以通过索引反算出对应的二进制位。
  • 内存开销:以n_q=30、k=15为例,C(30,15)=155117520,位图仅需约19MB(155117520/8/1024/1024),完全可控;即使n_q=40、k=20,位图也仅约16GB,远低于存储原数据的内存成本。
  • 操作效率:
    • 标记已出现/查询存在:O(1),直接对位图对应位赋值或读取
    • 插入未出现元素:通过索引反向推导整数后标记,同样O(1)
  • 优势:无哈希冲突、无二叉树平衡开销,内存占用极低,完美适配更大n_qubits的场景。

方案2:优化哈希集合(快速实现,适合不想做组合映射的场景)

如果暂时不想实现组合数映射,哈希集合也能做到高效:

  • 直接用整数本身作为哈希键(n_q≤64时,整数可存入64位变量,哈希值就是自身,完全没有哈希函数开销)
  • 选择轻量哈希实现:比如用开放寻址法的哈希表(比链式哈希省内存),或语言内置的高效集合(如Python的set、Go的map[uint64]struct{})
  • 内存优化:将哈希表负载因子设低(比如0.5),避免频繁扩容,最终内存占用约为每个元素8-16字节(n_q=30时,1.5亿元素约1.2-2.4GB)。

方案3:平衡二叉搜索树(仅适合需要有序集合的场景)

如果必须保持集合有序,平衡BST(红黑树、AVL树)是可选方案,但效率不如前两者:

  • 插入、查询操作均为O(log m),m是最终集合的大小
  • 内存开销比位图大很多,每个节点需存储指针和数据,适合插入频率不极高且必须有序的场景。

针对「插入未出现元素」的优化

因为未出现元素数量少于已出现的,建议:

  1. 先用位图标记所有已出现元素
  2. 遍历位图的所有0位,通过组合数映射反向推导对应的未出现整数,批量插入目标集合
  3. 这种批量操作比逐个插入高效得多,还能避免重复判断。

方案对比

方案单操作时间复杂度n_q=30,k=15内存开销适用场景
位图+组合映射O(1)~19MB优先选择,内存敏感、操作频繁
优化哈希集合O(1)(平均)~1.2-2.4GB快速实现,不想做组合映射
平衡BSTO(log m)~2.4-4.8GB需要有序集合的场景

内容的提问来源于stack exchange,提问作者zjsun

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.11 14:05:21