在PowerShell ForEach-Object循环中每1000条记录写入日志可行吗？

处理数万甚至数十万文件时，逐行写入日志会严重拖慢性能，但程序崩溃又会丢失所有已处理结果。可以通过每处理1000条记录批量写入一次来平衡性能和数据安全性，具体实现如下：

修改后的完整代码 #

$path = "你的目标文件路径"
$hashpath = "需要替换的根路径"
$hashlog = "最终日志输出路径"
$batchSize = 1000 # 设定每1000条写入一次
$count = 1
$batchBuffer = @() # 缓存批量记录的数组

# 可选：获取总文件数用于进度显示
$numfiles = (Get-ChildItem -Path $path -Recurse -File).Count

Get-ChildItem -Path $path -Recurse -File | ForEach-Object {
    $fileinfo = $_
    # 生成相对路径（正则转义避免特殊字符干扰）
    $FullName = $fileinfo.FullName -replace [regex]::Escape($hashpath), ''
    # 修正原代码的引号缺失问题，格式化时间戳
    $LastWriteTime = $fileinfo.LastWriteTime.ToString('yyyyMMdd_HHmss')
    Write-Host "$count of $numfiles $FullName $($fileinfo.Length) $LastWriteTime"
    
    # 计算SHA256哈希
    $filehash = (Get-FileHash -LiteralPath $fileinfo.FullName -Algorithm SHA256).Hash
    # 生成符合要求的日志行
    $logLine = "$filehash $FullName $($fileinfo.Length) $LastWriteTime"
    
    # 将记录加入缓存
    $batchBuffer += $logLine
    $count++

    # 每处理1000条就批量写入日志
    if (($count - 1) % $batchSize -eq 0) {
        $batchBuffer | Out-File -Encoding UTF8 -FilePath $hashlog -Append
        $batchBuffer = @() # 清空缓存，准备下一批
    }
}

# 处理最后一批不足1000条的剩余记录
if ($batchBuffer.Count -gt 0) {
    $batchBuffer | Out-File -Encoding UTF8 -FilePath $hashlog -Append
}

核心逻辑说明 #

• 批量缓存：用$batchBuffer数组暂存日志记录，减少磁盘IO次数，大幅提升性能
• 写入触发：通过($count - 1) % $batchSize -eq 0判断是否完成整批处理（计数器从1开始，处理完第1000条后$count为1001，1001-1刚好是1000的倍数）
• 追加写入：Out-File必须加-Append参数，否则每次写入会覆盖之前的日志内容
• 收尾处理：循环结束后一定要检查缓存，把剩余的不足1000条的记录写入，避免数据丢失
• 语法修复：原代码中时间格式化字符串缺少闭合单引号，已修正

期望输出格式 #

[SHA256HASHOUTPUT] [RELATIVE FILE PATH] [FILE SIZE] [DATETIMESTAMP]
0123456789012345678901234567890123456789012345678901234567891234 \file1.txt 345 20231129_130623

内容的提问来源于stack exchange，提问作者HTWingNut