PowerShell 5.0中高效处理自定义对象列表：移除空值并替换字段

我从API获取了一组规模较大的数据（26000条记录），目前分两步处理：

• 第一步通过管道过滤掉myField字段值为null或空字符串的记录
• 第二步使用for-each loop遍历数据，对留存记录的myField字段执行替换操作，移除其中的"ABC_"字符串

现有代码如下：

$data = $data | Where-Object { $_.myField -ne $null -and $_.myField -ne '' }

foreach ($item in $data) {
    $item.myField = $item.myField.Replace("ABC_", "")
}

由于使用的是PowerShell 5.0，无法使用Parallel For-Each等特性，希望找到更高效的处理方式。

示例输入数据：

$data = @(
    [PSCustomObject]@{Id=1; myField='2345';    Car = $null},
    [PSCustomObject]@{Id=2; myField='ABC_123'; Car = 'Pagani'},
    [PSCustomObject]@{Id=2; myField= $null; Car = 'Pagani'},
    [PSCustomObject]@{Id=2; myField= ''; Car = 'Pagani'},
    [PSCustomObject]@{Id=3; myField='ABC_456'; Car = 'KIA'}
)

示例预期结果：

$data = @(
    [PSCustomObject]@{Id=1; myField='2345';    Car = $null},
    [PSCustomObject]@{Id=2; myField='123'; Car = 'Pagani'},    
    [PSCustomObject]@{Id=3; myField='456'; Car = 'KIA'}
)

实用优化方案 #

1. 合并过滤与修改，一次遍历完成 #

原方案需要两次遍历数据（过滤一次、修改一次），合并后只遍历一次，减少管道和循环的额外开销：

$processedData = foreach ($item in $data) {
    # 简化非空判断：PowerShell中$null/空字符串在布尔判断中为False
    if ($item.myField) {
        $item.myField = $item.myField.Replace("ABC_", "")
        $item
    }
}

2. 针对性优化字符串操作（若ABC_为固定前缀） #

如果"ABC_"始终出现在myField的开头，用Substring替代Replace——不需要扫描整个字符串匹配，性能更优：

$processedData = foreach ($item in $data) {
    if ($item.myField) {
        if ($item.myField.StartsWith("ABC_")) {
            # 截取从第5个字符开始的内容（ABC_共4个字符）
            $item.myField = $item.myField.Substring(4)
        }
        $item
    }
}

3. 保留原数据的写法（可选） #

如果不想修改原始数据对象，可以直接创建新的自定义对象，适合需要留存原始数据的场景：

$processedData = foreach ($item in $data) {
    if ($item.myField) {
        $cleanedField = $item.myField.StartsWith("ABC_") ? $item.myField.Substring(4) : $item.myField
        [PSCustomObject]@{
            Id = $item.Id
            myField = $cleanedField
            Car = $item.Car
        }
    }
}

内容的提问来源于stack exchange，提问作者Bohn