PowerShell ForEach执行过慢，如何优化CSV清理脚本？

原脚本的主要性能瓶颈 #

1. 循环内重复写入文件: Add-Content 在每次循环迭代中都会打开、写入、关闭文件，这是最大的性能开销来源，尤其针对大型CSV文件。
2. 低效的字符串拼接: 使用 + 多次拼接字符串会创建大量中间字符串对象，增加内存和CPU负担。
3. 冗余的变量赋值: 为每个字段单独创建变量，既增加代码复杂度，也带来不必要的性能损耗。
4. 循环变量命名冲突: 循环变量 $export 与导入的CSV变量重名，虽然不直接影响性能，但容易引发逻辑错误。

优化后的脚本方案 #

方案1：内存中收集所有行后一次性写入（适合中等大小文件）

Add-Type -AssemblyName System.Windows.Forms
$FileBrowser = New-Object System.Windows.Forms.OpenFileDialog -Property @{ InitialDirectory = [Environment]::GetFolderPath('Desktop') }
$null = $FileBrowser.ShowDialog()
$FilePath = $FileBrowser.FileName

$export = Import-Csv $FilePath
$exportFinalHeading = "Id,Type,Name,SpaceId,SpaceName,NetworkSwitchName,NetworkSwitchPortID,ExternalID,SerialNumber"

# 使用泛型List高效存储输出行，避免数组重新分配开销
$outputLines = [System.Collections.Generic.List[string]]::new()
$outputLines.Add($exportFinalHeading)

Measure-Command {
    foreach ($item in $export) {
        # 处理ExternalId字段：替换冒号为逗号并添加结尾逗号
        $processedExternalId = $item.ExternalId.Replace(':', ',') + ','
        # 使用字符串格式化快速构建行内容，比多次+拼接更高效
        $line = "{0},{1},{2},{3},{4},{5},{6},{7}" -f 
            $item.Id, $item.Type, $item.Name, $item.SpaceId,
            $item.SpaceName, $item.NetworkSwitchName, $item.NetworkSwitchPortId,
            $processedExternalId
        $outputLines.Add($line)
    }
    # 一次性写入所有内容到文件
    $outputLines | Set-Content -Path ".\ExportFinal.csv" -Encoding UTF8
}

方案2：管道流式处理（适合超大型文件，低内存占用）

如果CSV文件极大，无法一次性加载到内存，可使用管道流式处理，避免占用过多内存：

Add-Type -AssemblyName System.Windows.Forms
$FileBrowser = New-Object System.Windows.Forms.OpenFileDialog -Property @{ InitialDirectory = [Environment]::GetFolderPath('Desktop') }
$null = $FileBrowser.ShowDialog()
$FilePath = $FileBrowser.FileName

$exportFinalHeading = "Id,Type,Name,SpaceId,SpaceName,NetworkSwitchName,NetworkSwitchPortID,ExternalID,SerialNumber"

# 先写入表头
$exportFinalHeading | Set-Content -Path ".\ExportFinal.csv" -Encoding UTF8

Measure-Command {
    # 流式读取CSV，处理每行后直接写入文件（管道会保持文件打开状态，避免重复IO）
    Import-Csv $FilePath | ForEach-Object {
        $processedExternalId = $_.ExternalId.Replace(':', ',') + ','
        "{0},{1},{2},{3},{4},{5},{6},{7}" -f 
            $_.Id, $_.Type, $_.Name, $_.SpaceId,
            $_.SpaceName, $_.NetworkSwitchName, $_.NetworkSwitchPortId,
            $processedExternalId
    } | Add-Content -Path ".\ExportFinal.csv" -Encoding UTF8
}

关键优化点说明 #

• 批量文件IO: 无论是收集所有行后一次性写入，还是通过管道流式写入，都避免了循环内重复打开/关闭文件的操作，这能带来数量级的速度提升。
• 高效字符串处理: 使用 -f 格式化运算符替代多次 + 拼接，减少中间字符串对象的创建，降低内存开销。
• 泛型List存储: 方案1中使用 [System.Collections.Generic.List[string]] 替代普通数组，避免了数组扩容时的内存重新分配操作，提升添加元素的效率。
• 流式处理: 方案2通过管道逐行处理，无需将整个CSV加载到内存，适合处理GB级别的大型文件。

内容的提问来源于stack exchange，提问作者Broc Christensen