PowerShell处理超30万行CSV文件的性能优化求助

我需要处理一个超过30万行的CSV文件，逐行验证信息后以表格形式输出到.txt文件，用来查看各服务器缺失的文件。

示例CSV结构：

Name,Server
File1,Server1
File2,Server1
File3,Server1
File1,Server2
File2,Server2
...
File345,Server76
File346,Server32

期望输出的文本表格形式：

Name     Server1 Server2 ... Server32 ....Server76
File1       X       X
File2       X       X
File3       X       
...
File345                                       X
File346                          X

目前我通过自定义函数创建含服务器名称成员的对象，使用StreamReader拆分数据（CSV实际含多列，第0列为服务器名，第5列为文件名），脚本如下：

$stream = [System.IO.StreamReader]::new($File)
$stream.ReadLine()  | Out-Null
while ((-not $stream.EndOfStream)) {
    $line = $stream.ReadLine()
    $strTempo = $null
    $strTempo = $line -split ","
    $index = $listOfFile.Name.IndexOf($strTempo[5])
    if ($index -ne -1) {   
        $property = $strTempo[0].Replace("-", "_")
        $listOfFile[$index].$property = "X"
    }
    else {
        $obj = CreateEmptyObject ($listOfConfiguration)
        $obj.Name = $strTempo[5]
        $listOfFile.Add($obj) | Out-Null
    }
}

虽然输出结果符合预期，但脚本耗时长达20分钟到1小时，希望得到针对该脚本的优化技巧。

核心优化技巧 #

1. 用哈希表替代列表查找，避免线性遍历 #

$listOfFile.Name.IndexOf()是线性查找，30万行数据下每次查找的时间成本会随着列表增长急剧上升。改用哈希表（Dictionary）存储文件对象，查找时间复杂度从O(n)降到O(1)：

# 初始化哈希表替代原$listOfFile列表
$fileMap = [System.Collections.Generic.Dictionary[string, object]]::new()

# 循环内替换查找逻辑
$fileName = $strTempo[5]
if ($fileMap.ContainsKey($fileName)) {
    $obj = $fileMap[$fileName]
} else {
    $obj = CreateEmptyObject $listOfConfiguration
    $obj.Name = $fileName
    $fileMap.Add($fileName, $obj)
}
$property = $strTempo[0].Replace("-", "_")
$obj.$property = "X"

2. 使用Import-Csv替代手动拆分CSV #

手动用-split ","拆分CSV存在隐患（比如字段包含逗号的情况），且Import-Csv是PowerShell优化过的内置命令，处理大文件效率更高，还能直接映射列名：

# 指定实际列名，假设第0列是ServerName，第5列是FileName
$csvData = Import-Csv -Path $File -Header "ServerName", "Col1", "Col2", "Col3", "Col4", "FileName" | Select-Object ServerName, FileName

如果CSV本身有表头，直接去掉-Header参数即可，Import-Csv会自动识别。

3. 避免频繁修改对象属性 #

自定义对象的动态属性赋值是相对耗时的操作，如果服务器列表是固定的，可以提前生成所有服务器属性的对象模板，或者改用哈希表存储每个文件的服务器状态，最后再统一转换为对象：

# 先用哈希表存储每个文件对应的服务器集合
$fileServerMap = [System.Collections.Generic.Dictionary[string, System.Collections.Generic.HashSet[string]]]::new()

foreach ($row in $csvData) {
    $fileName = $row.FileName
    $server = $row.ServerName.Replace("-", "_")
    if (-not $fileServerMap.ContainsKey($fileName)) {
        $fileServerMap[$fileName] = [System.Collections.Generic.HashSet[string]]::new()
    }
    $fileServerMap[$fileName].Add($server) | Out-Null
}

# 最后统一生成对象
$allServers = $csvData.ServerName.Replace("-", "_") | Select-Object -Unique
$listOfFile = foreach ($fileName in $fileServerMap.Keys) {
    $obj = [PSCustomObject]@{ Name = $fileName }
    foreach ($server in $allServers) {
        $obj | Add-Member -NotePropertyName $server -NotePropertyValue (@($fileServerMap[$fileName].Contains($server)) ? "X" : "")
    }
    $obj
}

4. 批量处理而非逐行操作 #

PowerShell的管道和批量处理比逐行循环效率更高，尽量减少while循环内的零散操作，把数据先批量读入再处理。

5. 优化输出环节 #

生成表格时，避免逐行输出，先把所有内容整理成字符串数组，再一次性写入文件：

# 生成表头
$header = "Name     " + ($allServers -join " ")
# 生成内容行
$contentRows = foreach ($fileObj in $listOfFile) {
    $row = $fileObj.PSObject.Properties | ForEach-Object { $_.Value }
    # 按固定宽度格式化，确保对齐
    $formattedRow = "{0,-8}" -f $row[0]
    for ($i=1; $i -lt $row.Count; $i++) {
        $formattedRow += "{0,-10}" -f $row[$i]
    }
    $formattedRow
}
# 合并并写入文件
($header + "`n" + ($contentRows -join "`n")) | Out-File -Path "output.txt" -Encoding utf8

6. 减少不必要的变量赋值 #

原脚本中$strTempo = $null属于多余操作，直接$strTempo = $line -split ","即可，减少变量赋值能略微提升性能。

内容的提问来源于stack exchange，提问作者Aomichi