PowerShell处理海量文件夹时内存溢出问题排查与优化

问题根源 #

你的递归脚本处理大量文件夹时出现内存溢出，核心原因有这几点：

• 递归栈内存累积：每一层递归都会保留函数上下文，文件夹层级深、数量多的时候，栈内存会被快速占满
• Get-ChildItem一次性加载全量对象：默认逻辑会把所有子项都读取到内存中，10万+文件直接拉爆内存
• 重复IO操作：多次调用Test-Path和Get-ChildItem，既浪费性能又额外消耗内存
• 日志写入效率低下：每次用>>写入日志都会重复打开、关闭文件，不仅慢还会持有不必要的资源

优化方案：迭代替代递归+内存轻量化处理 #

把递归逻辑改成迭代（用队列存储待处理文件夹），配合流式处理和IO优化，彻底解决内存问题：

优化后的脚本 #

function Clean-ArchivedFolders {
    param (
        [string[]]$RootPaths,
        [datetime]$ExpiredDate,
        [string]$LogPath
    )

    # 用StreamWriter一次性打开日志文件，避免重复IO开销
    $logWriter = [System.IO.StreamWriter]::new($LogPath, $true)
    try {
        # 队列存储待处理文件夹，替代递归调用
        $folderQueue = [System.Collections.Generic.Queue[string]]::new()
        foreach ($path in $RootPaths) {
            if (Test-Path $path -PathType Container) {
                $folderQueue.Enqueue($path)
            }
        }

        while ($folderQueue.Count -gt 0) {
            $currentPath = $folderQueue.Dequeue()
            $now = Get-Date -Format "yyyy-MM-dd HH:mm:ss"
            $logWriter.WriteLine(" - $now : $currentPath")

            $currentFolderName = Split-Path $currentPath -Leaf
            # 匹配AAAA-MM格式的目标文件夹
            if ($currentFolderName -match '^\d{4}-\d{2}$') {
                # 流式处理DD格式子文件夹，不一次性加载所有到内存
                Get-ChildItem -Path $currentPath -Directory -Filter "??" | Where-Object {
                    $_.Name -match '^\d{2}$'
                } | ForEach-Object {
                    $fullDateStr = "$currentFolderName-$($_.Name)"
                    # 安全解析日期，避免格式错误抛出异常
                    if ([datetime]::TryParseExact($fullDateStr, "yyyy-MM-dd", $null, [System.Globalization.DateTimeStyles]::None, [ref]$folderDate)) {
                        if ($folderDate -lt $ExpiredDate) {
                            Remove-Item -Path $_.FullName -Recurse -Force -ErrorAction SilentlyContinue
                        }
                    }
                }

                # 检查当前文件夹是否为空（无需递归，子文件夹已处理完毕）
                if (-not (Get-ChildItem -Path $currentPath -Force -ErrorAction SilentlyContinue)) {
                    Remove-Item -Path $currentPath -Force -ErrorAction SilentlyContinue
                }
            }
            else {
                # 将子文件夹加入队列，继续迭代处理
                Get-ChildItem -Path $currentPath -Directory -Force -ErrorAction SilentlyContinue | ForEach-Object {
                    $folderQueue.Enqueue($_.FullName)
                }
            }
        }
    }
    finally {
        # 确保日志文件正确关闭释放资源
        $logWriter.Close()
        $logWriter.Dispose()
        # 手动触发垃圾回收（仅在内存压力极大时使用，日常场景可省略）
        [GC]::Collect()
        [GC]::WaitForPendingFinalizers()
    }
}

额外内存优化细节 #

• 彻底消除递归栈消耗：用队列迭代完全替代递归，避免多层递归的上下文内存占用
• 流式处理子项：Get-ChildItem配合管道边遍历边处理，不一次性加载所有对象到内存
• 减少冗余IO：把expiredDate改为[datetime]类型，避免重复字符串转日期的开销；检查空文件夹时去掉-Recurse，仅需检查直接子项
• 日志写入优化：用StreamWriter一次性打开日志文件，减少文件IO的资源消耗
• 安全容错处理：用TryParseExact替代ParseExact，避免日期格式错误导致的异常中断

原脚本的关键错误修正 #

1. 移除递归调用，改用队列迭代，彻底解决递归栈内存累积问题
2. 修复检查空文件夹时的Get-ChildItem -Recurse冗余操作，大幅减少内存消耗
3. 将expiredDate参数改为[datetime]类型，避免重复字符串转日期的性能开销
4. 优化日志写入方式，减少IO资源占用

内容的提问来源于stack exchange，提问作者jajajf