如何计算超大lazy-seq的元素数量？为何未持有头部仍出现Java堆内存溢出？

你遇到的内存溢出问题，其实和你是否持有lazy-list头部关系不大，真正的罪魁祸首是底层原序列(take 10000000000000000000 (repeat 1))的缓存机制，以及partition-all对原序列的持续引用。

为什么会内存溢出？ #

Clojure的惰性序列默认会缓存所有已经求值过的元素——这是为了避免重复计算，提升性能。但在你的场景中，这个特性反而成了问题：

• 当你用partition-all 100000生成分区时，每个后续分区都是基于原序列的(drop 100000 s)构建的。而drop返回的新惰性序列会保留对原序列剩余部分的引用。
• 每次你的loop迭代求值一个分区时，原序列会生成并缓存100000个1元素。随着迭代的进行，原序列缓存的元素会越来越多——因为后续的分区始终依赖于原序列，这些缓存的元素永远无法被垃圾回收，最终耗尽堆内存。
• 你可能以为drop 1 ll会丢弃之前的元素，但实际上，drop返回的新序列只是指向原序列的下一个位置，原序列中已经求值的元素仍然被缓存并引用着。

解决方案 #

1. 直接计算数量（最优方案）

你的场景中，序列的总数是完全可以推导的：总元素数是10^19，每个分区包含100000个元素，所以分区数量就是：

(def partition-count (/ 10000000000000000000 100000))
;; 结果是 100000000000000N（10^14）

完全不需要遍历整个惰性序列，直接计算就能得到结果，既省时间又省内存。

2. 通用遍历方案（针对无法直接计算的场景）

如果你的实际场景中，序列是动态生成的、无法提前知道总数，那么可以使用transducer来遍历计数——transducer在处理元素时不会缓存整个序列，处理完一个分区后，对应的元素就可以被GC回收，不会积累内存：

(time (transduce (partition-all 100000)
                 (completing (fn [count _] (inc count)))
                 0
                 (take 10000000000000000000 (repeat 1))))

不过要注意：这个方法仍然会遍历所有分区，对于10^14个分区来说，这在时间上是完全不可行的，但它不会导致内存溢出。

总结 #

Clojure的惰性序列缓存是一把双刃剑：它能避免重复计算，但在处理超大序列时，如果后续操作持续引用原序列，就会导致缓存的元素无法回收，最终OOM。这种情况下，优先考虑直接推导结果；如果必须遍历，使用transducer这种无缓存的处理方式更安全。

内容的提问来源于stack exchange，提问作者Punit Naik