You need to enable JavaScript to run this app. Rust使用Rayon并行哈希穷举搭配Indicatif进度条出现内存泄漏
优惠活动
大模型
产品
解决方案
定价
更多

Rust使用Rayon并行哈希穷举搭配Indicatif进度条出现内存泄漏

问题根因定位

核心矛盾:无背压的任务分发 + 进度条更新拖慢主线程消费速度导致双向积压

  • 当前的任务分发逻辑完全没有流量控制:外层生成密码的循环每拿到一个密码就直接rayon::spawn一个独立哈希计算任务,既没有任务队列长度限制,也没有消费速度匹配机制。所有未被调度执行的任务,包括闭包捕获的密码字符串、克隆的发送端句柄,都会以堆分配的形式暂存在Rayon的全局工作队列中,只要消费端处理不及时,这部分内存就会持续累积。
  • 注释掉bar.inc时内存正常的核心原因:此时主线程的消息处理循环没有额外阻塞操作,收到channel消息后立刻完成比对、记录最后密码的逻辑,消费速度和任务生产速度几乎持平,Rayon队列和channel中的积压量始终维持在极低水平,自然不会出现内存上涨。
  • 为什么加了bar.inc就会触发内存上涨:indicatif 0.15版本的进度条inc操作不是纯内存的计数器自增,每次调用都会触发进度计算、终端渲染事件入队的逻辑,单条消息的处理耗时会从纳秒级上涨到微秒级,直接把主线程的消费速度拉低一个量级。此时外层的密码生成循环还在以全速往Rayon任务池塞新的计算任务,消费端追不上生产端的速度,队列积压量会随着运行时间线性增长,直到占满所有可用内存。
  • 为什么单独测试Rayon+Indicatif无问题:测试场景中没有哈希计算的CPU开销,单个spawn任务的执行速度极快,任务从入队到出队的延迟极低,哪怕主线程因为刷进度条慢一点,也不会形成大规模积压,和真实破解场景下“哈希计算有固定CPU耗时、任务出队速度慢”的负载特性完全不同。

附带的内存放大因素

  • 标准库的mpsc::channel是无界队列,只要发送端不阻塞,就会持续暂存未被消费的消息,没有任何内存上限保护。
  • 每个独立spawn的任务都会克隆一次tx发送端,这些克隆句柄本身也会占用额外堆内存,在大规模积压时会进一步放大内存占用。

对应的修复方向

  • 替换手动逐个spawn的任务分发逻辑,改用Rayon的并行迭代器(比如为SenhaIterator实现ParallelIterator trait)执行哈希计算,Rayon自带的工作窃取调度机制会根据线程池负载自动控制任务入队数量,从根源上避免无限任务积压。
  • 把单条消息触发的bar.inc改成批量节流更新:比如每累计接收1000条结果再统一调用一次bar.inc(1000),大幅降低主线程被终端渲染逻辑阻塞的频率。
  • 把无界channel替换为有界channel,缓冲区大小设置为CPU核心数的2~4倍即可,当channel满时自动阻塞发送端,形成天然的背压机制。

内容的提问来源于stack exchange,提问作者Denis Falqueto

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.18 14:15:05