如何实现CSV匹配字符串行首加#及PowerShell脚本性能优化

性能瓶颈说明 #

原有脚本耗时高的核心原因是双重循环逻辑：1860行CSV逐行和1200个关键词逐一匹配，总匹配次数超过200万次，叠加频繁的文件IO操作会进一步拉长耗时。优化核心是将多关键词匹配合并为单次正则匹配，通过整读整写文件降低IO开销。

方案1：正则批量替换（性能最优，耗时<1秒） #

把所有待屏蔽关键词拼成正则或匹配结构，一次性完成全文件匹配修改，全程仅2次文件IO：

# 读取待屏蔽关键词，转义正则特殊字符后拼接匹配规则
$excludePattern = (Get-Content .\exclude_signals.txt | ForEach-Object { [regex]::Escape($_) }) -join '|'
# 一次性读取CSV全内容，匹配关键词的行首加#后直接写回原文件
(Get-Content .\目标文件.csv -Raw) -replace "^.*($excludePattern).*$", '#$&' | Set-Content .\目标文件.csv -Encoding UTF8

方案2：Select-String实现（匹配你提到的替换逐行比较的需求） #

如果需要显式获取匹配行再修改，可以用Select-String批量获取匹配行号，一次性修改后写回：

$csvPath = ".\目标文件.csv"
$excludePattern = (Get-Content .\exclude_signals.txt | ForEach-Object { [regex]::Escape($_) }) -join '|'
# 一次性读取所有行
$allLines = Get-Content $csvPath
# 批量获取所有匹配行的行号
$matchLineNumbers = (Select-String -Path $csvPath -Pattern $excludePattern).LineNumber
# 仅修改匹配行
foreach ($num in $matchLineNumbers) {
    $allLines[$num - 1] = '#' + $allLines[$num - 1]
}
# 一次性写回原文件
$allLines | Set-Content $csvPath -Encoding UTF8

补充：Batch批处理实现方案 #

如果你仍想用最初的Batch方案实现，可以参考以下逻辑，用临时文件过渡完成修改：

@echo off
set "csvFile=目标文件.csv"
set "tmpFile=tmp.csv"
del %tmpFile% 2>nul
for /f "delims=" %%a in (%csvFile%) do (
    echo %%a | findstr /g:exclude_signals.txt >nul && (
        echo #%%a >>%tmpFile%
    ) || (
        echo %%a >>%tmpFile%
    )
)
move /y %tmpFile% %csvFile%

Batch处理含特殊字符的行时可能存在兼容性问题，更推荐使用PowerShell方案。

注意事项 #

• 操作前建议备份原CSV文件，避免规则匹配错误导致内容损坏
• 如果关键词固定出现在CSV某一列，可以调整正则规则限定匹配范围，避免误匹配其他列内容
• 如果需要保留原文件编码，将-Encoding UTF8替换为对应编码（如Default、ASCII等）

内容的提问来源于stack exchange，提问作者Gora