优化PowerShell foreach读写性能：大文件处理缓慢求提速方案

你的代码性能瓶颈主要集中在频繁的文件写入操作以及部分字符串处理的低效性上，以下是具体优化方案：

核心优化点及代码改进 #

1. 批量写入文件，避免逐行IO #

原代码中Add-Content每次写入一行都会触发文件的打开、写入、关闭操作，这是单文件耗时5分钟的主要原因。改用内存集合暂存所有输出内容，最后一次性写入文件，能大幅减少IO开销。

2. 优化字符串匹配逻辑 #

$line.Contains($dataDate)默认使用当前文化进行匹配，改用IndexOf并指定Ordinal比较规则，能提升字符串查找的速度。

3. 简化文件初始化操作 #

原代码中Test-Path + Remove-Item可以省略，直接用一次性写入覆盖目标文件即可。

优化后的完整代码 #

function Convert-File($inputFile, $outputFile, $dataDate) {
    if ([string]::IsNullOrEmpty($dataDate)) {
        $dataDate = $inputFile.Split('.') | Select-Object -Last 1
    }
    Write-Host "File data date is $dataDate"

    $header = ""
    $headerOut = $false
    $outputLines = [System.Collections.Generic.List[string]]::new()

    foreach ($line in [System.IO.File]::ReadLines($inputFile)) {
        if ($line.StartsWith("!")) {
            $header = $line.Substring(1).Replace('|', ',')
            continue
        }
        # 使用Ordinal比较提升匹配速度
        if ($line.IndexOf($dataDate, [StringComparison]::Ordinal) -ge 0) {
            if (-not $headerOut) {
                $headerOut = $true
                $outputLines.Add($header)
            }
            if (-not [string]::IsNullOrEmpty($line)) {
                $outputLines.Add($line.Replace('|', ','))
            }
        }
    }

    # 一次性写入所有内容
    if ($outputLines.Count -gt 0) {
        [System.IO.File]::WriteAllLines($outputFile, $outputLines)
    }
}

进阶优化：并行处理多文件 #

如果你使用的是PowerShell 7及以上版本，可以利用ForEach-Object -Parallel实现多文件并行处理，充分利用CPU多核资源，整体处理数百个文件的速度会成倍提升：

# 假设你的文件都在某个目录下，比如C:\DataFiles
Get-ChildItem -Path "C:\DataFiles" -Filter "*.yourExt" | ForEach-Object -Parallel {
    # 这里调用优化后的Convert-File函数，注意变量传递
    Convert-File -inputFile $_.FullName -outputFile "$($_.DirectoryName)\$($_.BaseName)_converted.csv"
} -ThrottleLimit 8  # 根据你的CPU核心数调整，比如8核设为8

其他细节优化 #

• 避免使用Write-Host：如果不需要实时输出日志，去掉Write-Host能节省一点开销，或者改用Write-Verbose并在调用时加-Verbose。
• 提前替换分隔符：在读取到header时直接完成|到,的替换，避免后续重复操作。

内容的提问来源于stack exchange，提问作者CaptainCrunch