基于字典优化PowerShell大文件匹配脚本，提速百万级行处理

原脚本性能瓶颈 #

原脚本每次遍历大文件的一行，都要重新读取小文件并执行正则匹配，处理10-20万行时会触发几十万次重复磁盘IO和正则计算，这是速度慢的核心原因。

优化方案：内存字典快速匹配 #

把小文件里的所有前缀一次性加载到PowerShell字典（哈希表）中，之后遍历大文件时直接在内存里做前缀存在性检查，彻底避免重复IO和正则开销。

优化后的脚本 #

$bigger_file = 'bigger.txt'
$smaller_file = 'smaller.txt'
$result = 'result.txt'

# 加载小文件前缀到字典，内存中快速查找
$prefixDict = @{}
foreach ($prefix in Get-Content $smaller_file) {
    $cleanPrefix = $prefix.Trim()
    if (-not [string]::IsNullOrWhiteSpace($cleanPrefix)) {
        $prefixDict[$cleanPrefix] = $true  # 值仅用于标记前缀存在
    }
}

# 批量收集结果，避免逐行写文件的频繁IO
$outputLines = @()
foreach ($line in Get-Content $bigger_file) {
    # 截取当前行前25个字符（和原脚本逻辑一致）
    $currentPrefix = $line.Substring(0, [Math]::Min($line.Length, 25))
    # 字典快速检查前缀是否存在
    if ($prefixDict.ContainsKey($currentPrefix)) {
        # 执行原脚本的字符串转义处理
        $new_line = $line -replace '"', '\"'
        $final_line = $new_line -replace '', '\u001D'
        $outputLines += '"' + $final_line + '",'
    }
}

# 一次性写入结果文件，大幅提升效率
$outputLines | Out-File -FilePath $result -Encoding utf8

核心优化点 #

• 字典（哈希表）的存在性检查：字典的ContainsKey方法是O(1)时间复杂度，比每次读文件+正则匹配快几个数量级。
• 批量读写文件：一次性读取小文件到内存，批量收集结果后一次性写入，避免频繁磁盘IO操作。
• 逻辑与原脚本对齐：保留了原脚本中截取前25字符、字符串转义的逻辑，确保输出结果一致。

额外性能建议 #

如果大文件体积超过GB级，可改用批量读取方式减少内存占用：

# 每次读取1000行处理
foreach ($batch in Get-Content $bigger_file -ReadCount 1000) {
    foreach ($line in $batch) {
        # 同上的前缀检查和处理逻辑
    }
}

内容的提问来源于stack exchange，提问作者Sergey Fajans