创建PS对象并拆分至多数组的Foreach循环性能逐步下降问题

问题根源 #

你遇到的性能暴跌，核心原因不是foreach循环本身，而是普通数组的+=操作机制：PowerShell默认数组是固定大小的，每次用+=添加元素时，都会创建新数组并复制原数组所有元素。数据量越大，复制开销呈指数级增长——5000行时复制量小可快速处理，70万行时每次复制都要操作几十万元素，直接导致性能崩盘。另外，循环内重复创建PSObject也会额外消耗资源。

优化方案 #

用哈希表（Hashtable）+ ArrayList组合替代固定数组，这是处理大分组数据的标准高效方案：

1. 哈希表负责快速映射Nestid到对应存储列表，查找/插入耗时可忽略
2. ArrayList是可变大小集合，添加元素无需重建整个集合，性能远优于普通数组
3. 避免重复创建PSObject，直接复用Import-Csv返回的原对象

优化后代码示例 #

# 初始化哈希表，预创建11个Nestid对应的ArrayList
$groupedData = @{}
1..11 | ForEach-Object {
    $groupedData[$_] = [System.Collections.ArrayList]@()
}

# 导入CSV数据（若分隔符非逗号，加-Delimiter参数指定）
$csvData = Import-Csv -Path "你的数据文件路径.csv"

foreach ($item in $csvData) {
    # 直接将原对象添加到对应Nestid的ArrayList，用[void]抑制返回值避免控制台输出开销
    [void]$groupedData[[int]$item.Nestid].Add($item)
    
    # 若必须创建新PSObject（比如只保留部分属性），用以下方式减少开销：
    # $newObj = [PSCustomObject]@{
    #     Nestid = $item.Nestid
    #     TargetProp = $item.TargetProp
    # }
    # [void]$groupedData[[int]$item.Nestid].Add($newObj)
}

# 提取拆分后的数组（按需调用）
$array1 = $groupedData[1]
$array2 = $groupedData[2]
# ... 其他Nestid对应的数组

额外性能优化点 #

• 强制Nestid为整数类型：若CSV中Nestid是字符串，转成[int]后哈希表查找速度会更快
• 剥离循环内冗余操作：不要在循环里写日志、计算非必要值，这类操作会累积大量耗时
• 内存充足时无需分批处理：哈希表+ArrayList内存效率很高，70万行数据可一次性处理

效果验证 #

用该方案处理70万行数据，耗时可压缩到几分钟以内，不会再出现运行一小时未完成的情况。

内容的提问来源于stack exchange，提问作者Trippin