如何用PowerShell筛选两个列表中的匹配项

需求说明 #

需要从第二个列表中提取与第一个列表条目匹配的行，生成仅包含两者交集的文件。

第一个列表（匹配规则源） #

10.0139_ssrn.3771318
10.1001_archdermatol.2012.418
10.1001_archinte.165.15.1737
10.1001_archinte.165.15.1743
10.1001_archinte.165.18.2142
10.1001_archinternmed.2012.127

第二个列表（待筛选数据） #

123 10.0139_ssrn.3771318    
356 10.1001_archdermatol.2012.418
357 10.1001_archinte.165.15.1737    
6   10.1001_archinternmed.2012.127
379 10.1001_archopht.123.1.25   
12  10.1001_archoto.2010.121    
97  10.1001_archotol.127.1.25   

期望输出 #

123 10.0139_ssrn.3771318    
356 10.1001_archdermatol.2012.418
357 10.1001_archinte.165.15.1737    
6   10.1001_archinternmed.2012.127

现有问题 #

单个匹配的命令可以正常运行：

Get-Content 'Y:\folder\second_list.csv' | foreach {
  $_ -match "10.0139_ssrn.3771318"}| Out-File 'Y:\folder\10.0139_ssrn.3771318'

但批量循环的代码无法工作：

Get-Content 'Y:\folder\second_list.csv' | foreach {
  $line -contains (Get-Content "Y:\folder\first_list.csv")| Out-file "Y:\folder\output.csv" -append}

存在两个问题：

• 无法识别实际存在的匹配项
• 输出文件仅写入FALSE，而非对应的匹配行

问题原因分析 #

1. 循环中使用了未定义的$line变量，应该用$_指代当前遍历的行
2. -contains的用法错误：该运算符是检查集合是否包含单个元素，而非单个元素是否在集合中，且每次循环重新读取第一个文件效率极低
3. 直接输出-contains的布尔结果，而非匹配的原行

解决方案 #

基础可行版代码 #

# 提前读取所有匹配条目到集合，避免重复IO操作
$matchEntries = Get-Content "Y:\folder\first_list.csv" | Where-Object { $_ -notmatch '^\s*$' }

# 遍历第二个列表，筛选包含匹配条目的行
Get-Content 'Y:\folder\second_list.csv' | Where-Object {
    $currentRow = $_
    # 检查当前行是否包含任意一个匹配条目
    $matchEntries | ForEach-Object { $currentRow -match [regex]::Escape($_) } | Where-Object { $_ }
} | Out-File "Y:\folder\output.csv" -Encoding UTF8

高效优化版代码（适合大量条目） #

将匹配条目合并为单个正则表达式，减少循环次数：

# 读取匹配条目并转义正则特殊字符
$matchEntries = Get-Content "Y:\folder\first_list.csv" | Where-Object { $_ -notmatch '^\s*$' } | ForEach-Object { [regex]::Escape($_) }
# 构建正则匹配模式
$matchPattern = '(' + ($matchEntries -join '|') + ')'

# 一次性筛选所有匹配行
Get-Content 'Y:\folder\second_list.csv' | Where-Object { $_ -match $matchPattern } | Out-File "Y:\folder\output.csv" -Encoding UTF8

代码关键点说明 #

• [regex]::Escape($_)：转义条目里的.、_等正则特殊字符，避免误匹配
• 提前读取$matchEntries：避免每次循环都读取文件，大幅提升性能
• Where-Object直接筛选结果：无需手动循环追加写入，逻辑更简洁
• 过滤空行：避免第一个列表中的空行导致无效匹配

内容的提问来源于stack exchange，提问作者user13818643