如何加速1.7GB文本文件的字符替换处理？

原代码慢的核心原因 #

你的逐行拼接字符串sText = sText & sLineContent & vbCrLf是性能瓶颈：VB的String是不可变类型，每次拼接都会创建新字符串并复制所有现有内容，对于1.7GB的文件，这个操作的时间复杂度是O(n²)，速度会极慢。

而一次性读取整个文件报错，是因为VB的String最大只能存储2^31-1个Unicode字符（约2GB内存），1.7GB的ASCII文本转成Unicode后是3.4GB，超过了这个限制，所以Input和FSO.ReadAll都会抛出内存不足的错误。

优化方案1：使用StringBuilder逐行处理（简单易实现） #

用Microsoft.VisualBasic.StringBuilder替代普通字符串拼接，它的内存分配更高效，避免重复复制。需要先引用Microsoft.VisualBasic组件（VB6里可通过工程->引用添加）。

Function RemoveCharactersFromText(sFile As String) As String
    Dim sb As New StringBuilder
    Dim sLineContent As String
    Dim iFileNum As Integer
    
    ' 读取文件并逐行处理后添加到StringBuilder
    iFileNum = FreeFile
    Open sFile For Input As iFileNum
    Do Until EOF(iFileNum)
        Line Input #iFileNum, sLineContent
        ' 先对单行做替换，减少后续内存占用
        sLineContent = Replace(sLineContent, ",", "")
        sLineContent = Replace(sLineContent, "#", "")
        sLineContent = Replace(sLineContent, "*", "")
        sLineContent = Replace(sLineContent, "+", "")
        sLineContent = Replace(sLineContent, "=", "")
        sLineContent = Replace(sLineContent, Chr(34), "")
        sLineContent = Replace(sLineContent, "null", "")
        sb.Append(sLineContent & vbCrLf)
    Loop
    Close iFileNum
    
    ' 写入处理后的内容
    iFileNum = FreeFile
    Open sFile For Output As iFileNum
    Print #iFileNum, sb.ToString
    Close iFileNum
    
    RemoveCharactersFromText = "处理完成"
End Function

优化方案2：分块读取处理（适合超大型文件，内存占用低） #

分块读取可以避免一次性加载整个文件到内存，内存占用可控，不会出现内存不足问题。每次读取固定大小的块，处理后写入临时文件，最后替换原文件。

Function RemoveCharactersFromText(sFile As String) As String
    Const BLOCK_SIZE As Long = 1024 * 1024 ' 每次读取1MB块
    Dim buffer As String
    Dim bytesRead As Long
    Dim iFileIn As Integer, iFileOut As Integer
    Dim tempFile As String
    
    ' 创建临时文件
    tempFile = Environ("TEMP") & "\temp_processed.txt"
    
    ' 打开原文件和临时文件
    iFileIn = FreeFile
    Open sFile For Binary Access Read As iFileIn
    iFileOut = FreeFile
    Open tempFile For Binary Access Write As iFileOut
    
    ' 分块读取并处理
    buffer = Space(BLOCK_SIZE)
    Do Until EOF(iFileIn)
        Get #iFileIn, , buffer
        bytesRead = LOF(iFileIn) - Seek(iFileIn) + 1
        If bytesRead < BLOCK_SIZE Then buffer = Left(buffer, bytesRead)
        
        ' 对块内容做替换
        buffer = Replace(buffer, ",", "")
        buffer = Replace(buffer, "#", "")
        buffer = Replace(buffer, "*", "")
        buffer = Replace(buffer, "+", "")
        buffer = Replace(buffer, "=", "")
        buffer = Replace(buffer, Chr(34), "")
        buffer = Replace(buffer, "null", "")
        
        ' 写入临时文件
        Put #iFileOut, , buffer
    Loop
    
    ' 关闭文件
    Close iFileIn
    Close iFileOut
    
    ' 替换原文件（建议先备份原文件）
    Kill sFile
    Name tempFile As sFile
    
    RemoveCharactersFromText = "处理完成"
End Function

注：如果null可能跨块出现，需要在块之间保留末尾3个字符，下次读取时拼接后再处理，避免漏替换。

额外优化点 #

1. 去掉原代码中的On Error Resume Next，替换操作不会抛出错误，保留反而会隐藏其他问题。
2. 处理前建议备份原文件，或先写入临时文件再替换原文件，防止处理出错导致文件损坏。
3. VB6环境下，将工程编译为本地代码（而非P代码），可显著提升运行速度。

内容的提问来源于stack exchange，提问作者Jennifer Brady