PowerShell解析大JSON文件的高效优化方案问询

问题概述 #

处理1.2GB的JSON文件时，逐字符解析的方案耗时数小时，需提升解析效率。优先采用原生JSON库方案，也可接受Newtonsoft Json.NET方案，同时解决Windows PowerShell 5.1中Newtonsoft泛型方法调用的难点。

方案一：使用.NET原生System.Text.Json流式解析（PowerShell 5.1兼容） #

System.Text.Json是.NET原生高性能JSON库，通过手动加载程序集可在PowerShell 5.1中使用，流式解析模式能避免逐字符处理的低效操作，同时控制内存占用。

步骤与代码示例 #

1. 加载依赖程序集：

# 根据本地.NET Core安装版本调整路径，可通过`dotnet --list-runtimes`查看版本号
Add-Type -Path "C:\Program Files\dotnet\shared\Microsoft.NETCore.App\6.0.25\System.Text.Json.dll"
Add-Type -Path "C:\Program Files\dotnet\shared\Microsoft.NETCore.App\6.0.25\System.Memory.dll"
Add-Type -Path "C:\Program Files\dotnet\shared\Microsoft.NETCore.App\6.0.25\System.Runtime.CompilerServices.Unsafe.dll"

2. 流式解析代码：

$filePath = "C:\path\to\your\large-file.json"
# 用泛型列表替代数组，避免频繁扩容的性能损耗
$dataList = [System.Collections.Generic.List[PSCustomObject]]::new()

$stream = [System.IO.File]::OpenRead($filePath)
$readerOptions = [System.Text.Json.JsonReaderOptions]@{
    AllowTrailingCommas = $true
    CommentHandling = [System.Text.Json.JsonCommentHandling]::Skip
}
$jsonReader = [System.Text.Json.Utf8JsonReader]::new([System.IO.BufferedStream]$stream, $readerOptions)

try {
    while ($jsonReader.Read()) {
        switch ($jsonReader.TokenType) {
            StartObject {
                $obj = [System.Text.Json.JsonSerializer]::Deserialize([PSCustomObject], [ref]$jsonReader)
                $dataList.Add($obj)
            }
            StartArray {}  # 跳过顶层数组起始标记
            EndArray {}    # 跳过顶层数组结束标记
        }
    }
}
finally {
    $jsonReader.Dispose()
    $stream.Dispose()
}

# 最终转换为数组（按需使用）
$data = $dataList.ToArray()

方案二：使用Newtonsoft Json.NET流式解析（解决PowerShell 5.1泛型调用问题） #

Newtonsoft Json.NET兼容性极强，针对PowerShell 5.1无法直接调用泛型方法的问题，可通过MakeGenericMethod生成泛型方法实例实现调用。

步骤与代码示例 #

1. 安装并加载Newtonsoft.Json：

Install-Module -Name Newtonsoft.Json -Scope CurrentUser -Force
Add-Type -Path (Join-Path (Get-Module Newtonsoft.Json).ModuleBase "Newtonsoft.Json.dll")

2. 流式解析代码：

$filePath = "C:\path\to\your\large-file.json"
$dataList = [System.Collections.Generic.List[PSCustomObject]]::new()

$streamReader = [System.IO.StreamReader]::new($filePath)
$jsonReader = [Newtonsoft.Json.JsonTextReader]::new($streamReader)
$jsonSerializer = [Newtonsoft.Json.JsonSerializer]::CreateDefault()

# 生成泛型Deserialize方法实例，解决PowerShell 5.1泛型调用限制
$deserializeMethod = [Newtonsoft.Json.JsonSerializer].GetMethod("Deserialize").MakeGenericMethod([PSCustomObject])

try {
    while ($jsonReader.Read()) {
        switch ($jsonReader.TokenType) {
            StartObject {
                $obj = $deserializeMethod.Invoke($jsonSerializer, @($jsonReader))
                $dataList.Add($obj)
            }
            StartArray {}
            EndArray {}
        }
    }
}
finally {
    $jsonReader.Dispose()
    $streamReader.Dispose()
}

$data = $dataList.ToArray()

额外优化点 #

• 使用BufferedStream包装文件流，减少磁盘IO次数
• 始终用List<PSCustomObject>替代数组+=操作，避免频繁内存分配与拷贝
• 若JSON结构固定，可定义强类型.NET类替代PSCustomObject，进一步提升解析速度

内容的提问来源于stack exchange，提问作者dharmatech