PowerShell foreach循环导出CSV数据出现重复结果如何解决

问题根因 #

• $target_servers 读取的txt文件中存在重复服务器名，循环时同一个服务器会被多次查询，对应匹配的CSV数据会被重复追加到结果文件
• 原写法每次循环都重新导入完整CSV文件，既降低执行效率，又放大了重复查询的问题

修复代码 #

精确匹配场景（服务器名完全一致） #

# 读取服务器列表并去重、去除空行
$target_servers = Get-Content -Path "D:\Users\Tools\windows\target_prd_servers.txt" | Where-Object { $_ -notmatch '^\s*$' } | Select-Object -Unique

# 仅导入一次CSV源文件
$source_csv = Import-Csv (Join-Path $path "Serverlist_Template.csv")

# 一次性筛选所有匹配记录并导出
$source_csv | Where-Object { $target_servers -contains $_.Hostname } | Export-Csv -Path (Join-Path $path "windows_prd.csv") -NoTypeInformation

模糊匹配场景（需要用到-Like通配符匹配） #

# 读取服务器列表并去重、去除空行
$target_servers = Get-Content -Path "D:\Users\Tools\windows\target_prd_servers.txt" | Where-Object { $_ -notmatch '^\s*$' } | Select-Object -Unique

# 仅导入一次CSV源文件
$source_csv = Import-Csv (Join-Path $path "Serverlist_Template.csv")

# 循环匹配后收集所有结果统一导出
$filter_result = foreach ($server in $target_servers) {
    $source_csv | Where-Object { $_.Hostname -Like $server }
}
$filter_result | Export-Csv -Path (Join-Path $path "windows_prd.csv") -NoTypeInformation

核心优化点 #

• 加Select-Object -Unique对目标服务器列表去重，从源头避免重复查询
• 仅导入一次CSV源文件，大幅降低IO开销，提升执行效率
• 所有匹配结果收集完成后统一导出，替代循环内逐次追加的写法，避免重复写入
• 使用Join-Path拼接路径，解决原写法路径分隔符混用的问题，避免路径解析错误

内容的提问来源于stack exchange，提问作者Ajay