PowerShell批量生成大量XML文件内存占用过高问题求助

处理单份最多9万行的CSV文件（每行含60个分号分隔字段），每行需生成独立XML文件。当前脚本功能正常，但处理3.9万行耗时20小时，且因内存耗尽导致运行极慢——核心问题在于原脚本使用Import-Csv一次性加载全量数据，引发内存占用飙升。

核心优化点 #

1. 逐行读取CSV，避免全量加载 #

Import-Csv会将整个CSV文件加载到内存中，大文件直接导致内存占用暴涨。改用Get-Content逐行读取，仅在内存中保留当前处理的行，大幅降低内存消耗。

2. 替换XmlDocument为字符串拼接 #

System.Xml.XmlDocument对象的创建、节点操作开销较大。对于结构固定的XML，直接拼接字符串生成内容，能显著提升处理速度，减少内存开销。

3. 预解析表头，避免重复操作 #

原脚本每次循环都重复获取CSV表头，提前解析一次表头并复用，减少不必要的重复计算。

优化后的完整脚本 #

function Convert-CsvToXml {
    param(
        [string]$CsvPath,
        [string]$OutputDir
    )

    # 创建输出目录（如果不存在）
    if (-not (Test-Path -Path $OutputDir)) {
        New-Item -Path $OutputDir -ItemType Directory | Out-Null
    }

    # 读取CSV表头并解析字段名
    $headerLine = Get-Content -Path $CsvPath -TotalCount 1
    $headers = $headerLine -split ';' | ForEach-Object { $_.Trim() }

    # 逐行读取CSV内容（跳过表头行）
    Get-Content -Path $CsvPath -Skip 1 | ForEach-Object {
        # 分割当前行的字段值
        $values = $_ -split ';' | ForEach-Object { $_.Trim() }
        # 构建字段名与值的映射
        $rowData = [ordered]@{}
        for ($i = 0; $i -lt $headers.Count; $i++) {
            $rowData[$headers[$i]] = $values[$i]
        }

        # 获取ChargingID作为文件名部分
        $id = $rowData['ChargingID']
        $fileName = "MIS_Record_2013_$id.xml"
        $outputPath = Join-Path -Path $OutputDir -ChildPath $fileName

        # 拼接XML内容，同时转义XML特殊字符
        $xmlContent = @"
<?xml version="1.0" encoding="UTF-8"?>
<ChargingRecord>
  <Charge>
"@
        foreach ($header in $headers) {
            $escapedValue = [System.Security.SecurityElement]::Escape($rowData[$header])
            $xmlContent += "    <$header>$escapedValue</$header>`n"
        }
        $xmlContent += @"
  </Charge>
</ChargingRecord>
"@

        # 写入XML文件
        $xmlContent | Out-File -Path $outputPath -Encoding utf8 -NoNewline
    }
}

# 调用示例
# Convert-CsvToXml -CsvPath "$conf_YearFiles$conf_File" -OutputDir 'm:\temp\2013\'

额外优化建议 #

• 使用SSD存储：磁盘IO是大文件处理的核心瓶颈之一，将输出目录放在SSD上能显著提升文件写入速度。
• 升级到PowerShell 7：PowerShell 7的性能比Windows PowerShell 5.1提升明显，尤其是循环和字符串处理场景。
• 释放系统资源：关闭后台高资源占用程序，避免脚本运行时被抢占CPU或内存。
• 拆分任务并行处理：若文件过大，可将CSV拆分为多个小文件，并行处理（注意避免磁盘IO竞争）。

内容的提问来源于stack exchange，提问作者Ivo