如何在Lisp中惰性遍历目录以处理海量文件？

当目录里有上百万个文件时，list-directory或directory-files这类一次性返回所有文件名列表的函数必然会导致内存溢出，下面是几个可行的解决方向：

1. 直接封装系统底层API实现流式遍历 #

不同操作系统的目录遍历原生API都是逐个返回文件条目的，用CFFI直接调用这些API就能做到按需读取，不会一次性把所有文件名加载到内存。

POSIX系统（Linux/macOS）示例： #

(cffi:defcstruct dirent
  (d-name :string))

(cffi:defcfun "opendir" :pointer
  (name :string))

(cffi:defcfun "readdir" :pointer
  (dirp :pointer))

(cffi:defcfun "closedir" :int
  (dirp :pointer))

(defun iterate-directory (path process-func)
  (let ((dir-handle (opendir path)))
    (unwind-protect
         (loop
           (let ((entry (readdir dir-handle)))
             (when (cffi:null-pointer-p entry)
               (return))
             (let ((filename (cffi:foreign-slot-value entry 'dirent 'd-name)))
               ;; 跳过当前目录和上级目录的占位符
               (unless (or (string= filename ".") (string= filename ".."))
                 (funcall process-func (merge-pathnames filename path))))))
      ;; 确保无论如何都关闭目录句柄
      (closedir dir-handle))))

使用时传入处理单个文件的函数即可：

(iterate-directory "./data"
                   (lambda (file-path)
                     ;; 在这里编写单个文件的处理逻辑，比如读取、分析等
                     (format t "正在处理文件：~a~%" file-path)))

Windows系统适配： #

如果是Windows环境，需要封装FindFirstFileW和FindNextFileWAPI，逻辑和POSIX环境一致——先打开目录句柄，循环读取下一个文件条目，处理完成后关闭句柄，同样不会一次性加载所有文件数据。

2. 使用支持迭代器/生成器的文件系统库 #

部分第三方Lisp文件系统库提供了迭代器风格的遍历接口，不会一次性构建完整的文件名列表。可以优先选择标注支持"流式遍历"或"迭代器"的文件系统库，这类库内部已经封装好底层API，使用起来更简洁。

3. 用惰性序列包装遍历逻辑 #

如果习惯用序列操作，可以借助惰性序列库（比如lazy-seq）把底层逐个读取的逻辑包装成惰性序列，这样既可以用序列操作函数处理，又不会一次性加载所有数据：

(defun lazy-directory (path)
  (let ((dir-handle (opendir path)))
    (labels ((next-entry ()
               (let ((entry (readdir dir-handle)))
                 (cond
                   ((cffi:null-pointer-p entry)
                    (closedir dir-handle)
                    nil)
                   (t
                    (let ((filename (cffi:foreign-slot-value entry 'dirent 'd-name)))
                      (if (or (string= filename ".") (string= filename ".."))
                          (next-entry)
                          (cons (merge-pathnames filename path)
                                (lazy-seq:lazy (next-entry))))))))))
      (lazy-seq:lazy (next-entry)))))

之后可以像操作普通序列一样遍历，但只有在需要下一个元素时才会读取目录条目。

内容的提问来源于stack exchange，提问作者Dave Kasper