如何优化PowerShell嵌套foreach循环处理Excel行对比的效率？

你的嵌套foreach循环属于O(n²)时间复杂度，13000行数据会产生1.69亿次迭代，这是导致3小时耗时的核心原因。改用哈希表（Dictionary）索引其中一个文件的UPC数据，能把查找匹配项的时间从O(n)降到O(1)，整体复杂度变为O(n+m)，性能会提升几个数量级。

优化后的代码 #

# 导入Excel数据（修正原代码变量名缺失$的问题）
$rowsa = Import-Excel $filea
$rowsb = Import-Excel $fileb

# 构建以UPC为键的哈希表，存储对应的行对象（支持重复UPC）
$upcLookup = [System.Collections.Generic.Dictionary[string, object[]]]::new()
foreach ($rowb in $rowsb) {
    $upc = $rowb.'UPC Code'
    if ($upcLookup.ContainsKey($upc)) {
        # 若UPC已存在，追加到数组
        $upcLookup[$upc] += $rowb
    }
    else {
        # 首次出现的UPC，初始化数组存储
        $upcLookup[$upc] = @($rowb)
    }
}

# 遍历第一个文件的行，直接通过哈希表查找匹配的UPC行
foreach ($rowa in $rowsa) {
    $targetUpc = $rowa.upc
    if ($upcLookup.ContainsKey($targetUpc)) {
        # 遍历该UPC对应的所有行（如果有重复）
        foreach ($matchedRowb in $upcLookup[$targetUpc]) {
            if ($rowa.uom2 -eq 'INP' -and $matchedRowb.'Split Quantity' -ne $rowa.qty1in2) {
                # 执行你的业务逻辑
                # Do Something
            }
        }
    }
}

关键优化点说明 #

1. 哈希表索引：提前把rowsb的所有数据按UPC Code分组存入哈希表，后续查找匹配项无需再遍历整个rowsb，单次查找仅需常数时间。
2. 避免冗余遍历：原代码在嵌套循环内又用Where-Object，相当于对rowsb做了两次遍历，优化后彻底消除了这种冗余。
3. 类型安全：使用泛型Dictionary比PowerShell原生哈希表（@{}）性能更好，且能明确键值类型，减少类型转换开销。

额外性能提升建议 #

• 按需导入列：用Import-Excel的-Column参数只导入需要的字段（比如UPC Code、Split Quantity、uom2、qty1in2），减少内存占用和数据处理量：

  $rowsa = Import-Excel $filea -Column 'upc', 'uom2', 'qty1in2'
  $rowsb = Import-Excel $fileb -Column 'UPC Code', 'Split Quantity'
  

• 处理重复UPC：如果你的业务中UPC Code是唯一的，可以把哈希表的值改为单个对象而非数组，进一步简化逻辑、提升性能。
• 类型匹配检查：确保$rowa.upc和$rowb.'UPC Code'的类型一致（比如都是字符串或数字），避免隐式类型转换带来的性能损耗。

内容的提问来源于stack exchange，提问作者MMariani