自定义PowerShell模块中管道数组的唯一条目过滤方案

问题重现示例 #

先还原你的场景代码，明确重复Id导致的问题：

function Get-MyTest {
    [PSCustomObject]@{Name='Test1'; Id=1},
    [PSCustomObject]@{Name='Test2'; Id=2},
    [PSCustomObject]@{Name='Test2'; Id=2} # 重复Id的条目
}

function Get-IncorrectResults {
    [CmdletBinding()]
    param(
        [Parameter(ValueFromPipeline)]
        [PSCustomObject[]]$InputObject
    )
    process {
        foreach ($item in $InputObject) {
            Write-Host "Processing item: $($item.Name) (Id: $($item.Id))"
            # 模拟REST API DELETE操作，重复执行会触发错误
        }
    }
}

# 调用后会看到Test2被处理两次
Get-MyTest | Get-IncorrectResults

为什么之前的方法无效 #

• Get-Unique默认比较整个对象的所有属性，且要求输入已排序，无法单独按Id去重。
• Select-Object * -Unique同样是对比对象的完整属性集，若重复条目仅Id相同但其他属性有差异，仍会被判定为不同对象。
• 关于begin块变量传递：PowerShell高级函数的begin/process/end块共享同一作用域，之前的问题大概率是变量初始化错误（比如未正确实例化集合），而非变量无法传递。

方案1：管道前置去重（最简单直接） #

在输入到处理函数前，通过Select-Object指定按Id属性去重，只保留每个Id的第一个实例：

# 先去重再传入处理函数
Get-MyTest | Select-Object -Unique -Property Id | Get-IncorrectResults

方案2：函数内部封装去重（适合需隐藏去重逻辑的场景） #

用HashSet高效跟踪已处理的Id，在process块中跳过重复条目：

function Get-CorrectResults {
    [CmdletBinding()]
    param(
        [Parameter(ValueFromPipeline)]
        [PSCustomObject[]]$InputObject
    )
    begin {
        # 初始化HashSet存储已处理的Id，查找效率为O(1)
        $processedIds = [System.Collections.Generic.HashSet[int]]::new()
    }
    process {
        foreach ($item in $InputObject) {
            # HashSet.Add()返回true表示Id未存在，执行处理逻辑；返回false则跳过
            if ($processedIds.Add($item.Id)) {
                Write-Host "Processing item: $($item.Name) (Id: $($item.Id))"
                # 执行REST API DELETE等操作
            } else {
                Write-Verbose "Skipping duplicate item with Id: $($item.Id)"
            }
        }
    }
}

# 调用后每个Id仅处理一次
Get-MyTest | Get-CorrectResults -Verbose

额外说明 #

• 若Id是字符串类型，将HashSet[int]改为HashSet[string]即可。
• 若需保留最后一个出现的重复条目，可先反转输入数组再去重，或在函数内部用字典覆盖存储最新条目。

内容的提问来源于stack exchange，提问作者Tanaka Saito