VBA批量解析JSON性能优化：能否整文件解析替代逐行？

完全可以通过将整个文件内容拼接为合法JSON数组，仅调用一次ParseJSON的方式，大幅降低解析开销，解决性能瓶颈。

核心优化逻辑 #

逐行调用ParseJSON的最大问题是重复初始化解析器状态、重复执行语法校验逻辑——5k行就要触发5k次完整的解析流程，这是性能损耗的核心。将所有行包装为JSON数组后，只需一次解析即可得到所有对象集合，直接消除了99.98%的解析初始化开销。

具体实现步骤 #

1. 快速读取整文件内容：使用ADODB.Stream替代传统Open语句，提升大文件读取速度。
2. 拼接为合法JSON数组：将每行JSON用逗号分隔，首尾包裹[]，确保整体是合法的JSON数组格式。
3. 单次解析批量处理：调用一次ParseJSON得到数组对象，遍历处理每个元素即可。

修改后代码示例 #

原逐行解析代码（性能瓶颈版本） #

Sub ProcessFile_Slow()
    Dim filePath As String, fileContent As String, lines() As String
    Dim i As Integer, jsonObj As Object
    
    filePath = "C:\your_file.jsonl"
    Open filePath For Input As #1
    fileContent = Input$(LOF(1), 1)
    Close #1
    
    lines = Split(fileContent, vbLf)
    
    For i = LBound(lines) To UBound(lines)
        If Trim(lines(i)) <> "" Then
            Set jsonObj = ParseJSON(lines(i))
            ' 此处为你的格式处理与计算逻辑
        End If
    Next i
End Sub

优化后整文件解析代码 #

Sub ProcessFile_Fast()
    Dim filePath As String, fileContent As String, jsonArrayStr As String
    Dim jsonArray As Object, jsonObj As Variant
    
    filePath = "C:\your_file.jsonl"
    
    ' 高效读取整文件内容
    With CreateObject("ADODB.Stream")
        .Charset = "utf-8"
        .Open
        .LoadFromFile filePath
        fileContent = .ReadText
        .Close
    End With
    
    ' 统一换行符并拼接为JSON数组
    fileContent = Replace(fileContent, vbCrLf, vbLf) ' 消除Windows换行符差异
    fileContent = Replace(Trim(fileContent), vbLf, ",") ' 用逗号替换换行分隔符
    
    ' 移除末尾多余逗号（避免JSON语法错误）
    If Right(fileContent, 1) = "," Then
        fileContent = Left(fileContent, Len(fileContent) - 1)
    End If
    
    ' 包装为合法JSON数组
    jsonArrayStr = "[" & fileContent & "]"
    
    ' 仅调用一次ParseJSON
    Set jsonArray = ParseJSON(jsonArrayStr)
    
    ' 遍历处理每个JSON对象（逻辑与原代码一致）
    For Each jsonObj In jsonArray
        ' 此处为你的格式处理与计算逻辑
    Next jsonObj
End Sub

注意事项 #

• 确保单条JSON记录内部不含换行符：如果你的JSON记录本身存在多行格式，需要先将每条记录内的换行替换为空格，或用正则匹配完整的JSON对象边界（比如匹配{...}或[...]）来拆分记录，再拼接数组。
• 若ParseJSON本身性能仍有不足：可以替换为更高效的VBA JSON解析实现（比如优化后的递归解析器，或利用ScriptControl调用JScript的JSON.parse，但需注意安全与兼容性）。

内容的提问来源于stack exchange，提问作者Michael Liew