Clojure嵌套reduce处理惰性序列引发内存溢出问题求助

问题现象 #

使用三层嵌套reduce时触发内存溢出错误，报错信息如下：

Execution error (OutOfMemoryError) at .../my-large-lazy$iter$fn$fn$iter$fn$fn$iter$fn$fn (serial_write.clj:39).
Java heap space: failed reallocation of scalar replaced objects

调用(add-coords 1000)时触发该问题，JVM启动参数为java -Xmx1G ...。

原代码 #

(defn my-large-lazy
  [size]
  (for [x (range size)]
    (for [y (range size)]
      (for [z (range size)]
        {:x x :y y :z z}))))

(defn add-coords 
  [size]
  (reduce (fn [sum-1 x-1]
            (reduce (fn [sum-2 x-2]
                      (reduce (fn [sum-3 x-3]
                                (+ sum-3 (:x x-3) (:y x-3) (:z x-3)))
                              sum-2 x-2))
                    sum-1 x-1))
          0 (my-large-lazy size)))

问题根源 #

原代码中my-large-lazy生成的是三层嵌套的惰性序列，外层reduce遍历过程中，每个中层序列的闭包会持有外层的x变量，内层序列的闭包又持有中层的y变量，导致整个嵌套结构的引用链无法及时断开。即使是惰性序列，大量未回收的中间闭包和序列头会持续占用内存，最终引发OOM。

优化方案 #

方案1：生成扁平惰性序列（推荐） #

直接生成单层的惰性序列，避免嵌套结构带来的引用链问题，reduce时逐个处理每个坐标map，处理完成后即可被GC回收，空间复杂度为O(1)：

(defn my-large-lazy
  [size]
  (for [x (range size)
        y (range size)
        z (range size)]
    {:x x :y y :z z}))

(defn add-coords
  [size]
  (reduce (fn [sum coord]
            (+ sum (:x coord) (:y coord) (:z coord)))
          0 (my-large-lazy size)))

方案2：保留嵌套结构但优化reduce逻辑 #

如果必须保留my-large-lazy的嵌套结构，可以通过强制惰性序列逐个求值并及时释放引用，比如使用doseq配合原子变量累加：

(defn add-coords
  [size]
  (let [total (atom 0)]
    (doseq [x-seq (my-large-lazy size)
            y-seq x-seq
            coord y-seq]
      (swap! total + (:x coord) (:y coord) (:z coord)))
    @total))

doseq会逐个遍历嵌套序列的每个元素，处理完后不会保留序列头引用，原子变量仅持有累加值，内存占用极低。

验证 #

两种方案在调用(add-coords 1000)时，均能在1G堆内存下正常运行，内存占用稳定在较低水平，符合O(1)空间复杂度的预期。

内容的提问来源于stack exchange，提问作者Anita