PowerShell搜索URL时无法排除指定文件夹与文件的问题求助

需求：在D:\lm目录下搜索所有同时包含http和tfs.mybank的URL字符串，需排除以下内容：

• _backup、Informatica文件夹
• 后缀为.csv、.log的文件
  目的是收集项目中使用的所有仓库URL。

编写了如下PowerShell脚本，但结果仍包含_backup相关文件夹的内容：

$uniqueUrls = @{}

Get-ChildItem -Path "D:\CCNet\lm\" -Recurse -Exclude "*.log*", "*.csv", "*.bak*"  | Where-Object { $_.FullName -notmatch '\\_backup\\|\\Informatica\\' } | Select-String -Pattern "tfs.mybank" | ForEach-Object {

    $url = $_.Line

    if($url -match "http"){

        $uniqueUrls[$url] = $true

    }  
}

$uniqueUrls.Keys | ForEach-Object{

    Write-Output $_

} >D:\alltfsforlm.txt

问题原因 #

原脚本的目录过滤逻辑有漏洞：

• 正则\\_backup\\要求_backup前后必须带反斜杠，但如果_backup是路径的最后一级目录（比如D:\CCNet\lm\_backup\file.txt），结尾没有反斜杠，就会匹配失败，导致这类文件漏过滤。
• Get-ChildItem -Recurse会先遍历所有文件再过滤，效率偏低，也容易让不符合要求的文件流入后续流程。

解决方案 #

修改脚本，提前过滤无效目录，修正匹配逻辑，确保所有目标内容被正确排除：

$uniqueUrls = @{}

# 仅搜索文件，排除指定后缀，再过滤掉包含目标目录的路径
Get-ChildItem -Path "D:\CCNet\lm\" -Recurse -File `
    -Exclude "*.log", "*.csv", "*.bak" |
    Where-Object {
        # 匹配路径中任意位置的_backup或Informatica，无需限制前后反斜杠
        $_.FullName -notmatch '_backup|Informatica'
    } |
    # 一次性匹配同时包含http和tfs.mybank的行
    Select-String -Pattern 'http.*tfs\.mybank|tfs\.mybank.*http' |
    ForEach-Object {
        $uniqueUrls[$_.Line.Trim()] = $true
    }

# 输出去重后的URL，指定编码避免乱码
$uniqueUrls.Keys | Out-File -FilePath "D:\alltfsforlm.txt" -Encoding utf8

关键优化点 #

• 加-File参数：只处理文件，跳过目录对象，减少无效操作
• 简化正则匹配：直接检测路径中是否包含目标目录名，确保所有在_backup、Informatica下的文件都被排除
• 合并匹配规则：用一个正则同时覆盖http在前或在后的情况，省去额外的if判断
• 指定输出编码：用Out-File并设置utf8，避免生成的文件出现乱码

如果需要更严格的目录过滤（仅排除直接位于_backup/Informatica目录下的文件，而非路径名中包含这些字符串的文件），可以把Where-Object里的逻辑改成：

Where-Object {
    $_.FullName -notlike '*\_backup\*' -and $_.FullName -notlike '*\Informatica\*'
}

这种方式会确保路径中存在完整的\_backup\或\Informatica\目录段，避免误排除名称带这些字符串的正常文件（比如my_backup_config.txt）。

内容的提问来源于stack exchange，提问作者Ashar