如何用PowerShell快速拆分含5.7万条记录的大型XML文件？

原脚本的核心问题 #

1. DOM解析大XML效率极低：用[xml]类型加载115MB的XML会把整个文件载入内存并构建DOM树，对于400万行的文件来说，内存占用极高，解析速度极慢，这是脚本运行18小时还没完成的根本原因。
2. 节点导入操作开销过大：循环中反复调用ImportNode方法，每次都要处理节点的克隆和命名空间映射，累积下来耗时惊人。
3. 变量初始化缺失：$i变量未初始化，若脚本没执行到$index -eq $limit的条件，就不会生成任何文件，这也是目标文件夹为空的可能原因之一。
4. 根节点构建逻辑有问题：初始化$ref时的根节点创建方式可能导致后续节点无法正确追加，最终生成的文件为空。

最快解决方法：逐行文本处理（替代DOM解析） #

直接以文本方式逐行读取原XML文件，筛选出<Doc>相关的行，按数量分片后拼接成完整的XML文件，完全避开DOM解析的性能瓶颈。

修复后的脚本 #

$limit = 10000
$sourcePath = "C:\Users\K_iduli\Downloads\ABC_Documents_CREATE_FINRECORD_20240912_3.xml"
$outputDir = "C:\Users\K_iduli\Downloads\Test"
$outputPrefix = "ABC_Documents_CREATE_FINRECORD_20240912_"

# 确保输出目录存在
if (-not (Test-Path $outputDir)) {
    New-Item -ItemType Directory -Path $outputDir | Out-Null
}

$fileIndex = 1
$docCount = 0
$currentContent = @()
$inDoc = $false

# 逐行读取源文件（批量读取减少IO开销）
Get-Content $sourcePath -ReadCount 1000 | ForEach-Object {
    foreach ($line in $_) {
        # 检测<Doc>开始标记
        if ($line -match '<Doc>') {
            $inDoc = $true
            $currentContent += $line
            $docCount++
        }
        # 检测<Doc>结束标记
        elseif ($line -match '</Doc>') {
            $currentContent += $line
            $inDoc = $false
            
            # 达到拆分阈值时生成文件
            if ($docCount -eq $limit) {
                # 拼接完整XML结构
                $fullXml = @"
<DocList>
$($currentContent -join "`n")
</DocList>
"@
                $outputPath = Join-Path $outputDir "$outputPrefix$($fileIndex.ToString('D6')).xml"
                $fullXml | Out-File $outputPath -Encoding utf8
                # 重置计数器和内容
                $docCount = 0
                $currentContent = @()
                $fileIndex++
            }
        }
        # 处于<Doc>节点内部时，保留行内容
        elseif ($inDoc) {
            $currentContent += $line
        }
    }
}

# 处理剩余不足$limit的记录
if ($docCount -gt 0) {
    $fullXml = @"
<DocList>
$($currentContent -join "`n")
</DocList>
"@
    $outputPath = Join-Path $outputDir "$outputPrefix$($fileIndex.ToString('D6')).xml"
    $fullXml | Out-File $outputPath -Encoding utf8
}

脚本说明 #

1. 批量读取优化：用Get-Content -ReadCount 1000批量读取行，减少磁盘IO操作次数，提升读取效率。
2. 节点范围标记：通过$inDoc变量判断当前行是否属于<Doc>节点，只保留需要的内容，跳过无关的头部、尾部行（后续可自行添加页脚校验逻辑）。
3. 内存友好：每次只保存当前分片的内容到内存，不会加载整个大文件，内存占用极低。
4. 容错处理：提前检测并创建输出目录，避免因目录不存在导致保存失败；脚本结束时自动处理剩余未拆分的记录。

额外优化建议 #

• 如果原XML的<Doc>节点是单行格式，可简化判断逻辑，直接匹配包含<Doc>的行。
• 若需要保留原XML的声明（如<?xml version="1.0" encoding="UTF-8"?>），可在拼接$fullXml时添加到开头。

内容的提问来源于stack exchange，提问作者K_iduli