PowerShell中如何高效合并对象数组并处理数据差异？

问题分析 #

原代码存在两个核心问题：

1. 性能低下：循环遍历数组A时，每次都全量过滤数组B匹配日期，时间复杂度为O(n*m)，处理4000-5000条数据时会产生大量重复遍历操作，效率极低。
2. 场景覆盖不全：仅处理数组A中的条目，无法包含数组B中存在但数组A中没有的日期条目。

优化方案 #

使用哈希表预存数组B的日期与对应值，将查找操作的时间复杂度降至O(1)，同时补充处理数组B中独有的条目，具体步骤如下：

1. 预构建数组B的哈希表 #

将数组B的日期转换为统一格式的字符串作为键（避免DateTime精度差异导致匹配失败），对应值为BBB字段：

# 构建数组B的日期映射哈希表
$bDateMap = @{}
foreach ($bItem in $listB) {
    $standardDate = $bItem.D_Date.ToString('yyyy-MM-dd')
    $bDateMap[$standardDate] = $bItem.BBB
}

2. 合并数组A的条目 #

遍历数组A，通过哈希表快速匹配对应BBB值，生成合并后的对象：

$mergedList = foreach ($aItem in $listA) {
    $standardDate = $aItem.Date.ToString('yyyy-MM-dd')
    [pscustomobject]@{
        Date = $aItem.Date
        AAA  = $aItem.AAA
        BBB  = $bDateMap[$standardDate] ?? $null  # 无匹配则设为null
    }
}

3. 补充数组B中独有的条目 #

提取数组A的所有日期，筛选出数组B中不存在的条目并添加到合并结果：

# 获取数组A的所有标准化日期集合
$aDateSet = $listA | ForEach-Object { $_.Date.ToString('yyyy-MM-dd') } | Select-Object -Unique

foreach ($bItem in $listB) {
    $standardDate = $bItem.D_Date.ToString('yyyy-MM-dd')
    if ($standardDate -notin $aDateSet) {
        $mergedList += [pscustomobject]@{
            Date = $bItem.D_Date
            AAA  = $null
            BBB  = $bItem.BBB
        }
    }
}

4. 按日期排序（可选） #

如果需要结果按日期顺序排列，执行排序：

$mergedList = $mergedList | Sort-Object Date

关键优化点 #

• 性能提升：哈希表预存后，查找操作从O(m)降至O(1)，整体时间复杂度变为O(n+m)，处理大数据量时效率提升显著。
• 日期匹配可靠性：将DateTime转换为yyyy-MM-dd格式的字符串作为匹配键，避免因DateTime对象的时分秒精度差异导致匹配失败。
• 全场景覆盖：同时处理数组A和数组B中的所有条目，包含双方独有的日期数据。

完整示例代码 #

# 初始化数组A
$listA = @(
    [pscustomobject]@{ Date = Get-Date "2023-01-01"; AAA = "1" },
    [pscustomobject]@{ Date = Get-Date "2023-01-02"; AAA = "2" },
    [pscustomobject]@{ Date = Get-Date "2023-01-03"; AAA = "3" },
    [pscustomobject]@{ Date = Get-Date "2023-01-04"; AAA = "4" },
    [pscustomobject]@{ Date = Get-Date "2023-01-05"; AAA = "5" },
    [pscustomobject]@{ Date = Get-Date "2023-01-06"; AAA = "6" },
    [pscustomobject]@{ Date = Get-Date "2023-01-07"; AAA = "7" },
    [pscustomobject]@{ Date = Get-Date "2023-01-08"; AAA = "8" },
    [pscustomobject]@{ Date = Get-Date "2023-01-09"; AAA = "9" },
    [pscustomobject]@{ Date = Get-Date "2023-01-10"; AAA = "10" }
)

# 初始化数组B
$listB = @(
    [pscustomobject]@{ D_Date = Get-Date "2023-01-06"; BBB = "6" },
    [pscustomobject]@{ D_Date = Get-Date "2023-01-07"; BBB = "7" },
    [pscustomobject]@{ D_Date = Get-Date "2023-01-08"; BBB = "8" },
    [pscustomobject]@{ D_Date = Get-Date "2023-01-09"; BBB = "9" },
    [pscustomobject]@{ D_Date = Get-Date "2023-01-10"; BBB = "10" },
    [pscustomobject]@{ D_Date = Get-Date "2023-01-11"; BBB = "11" }  # 新增B独有的条目
)

# 构建B的日期映射哈希表
$bDateMap = @{}
foreach ($bItem in $listB) {
    $standardDate = $bItem.D_Date.ToString('yyyy-MM-dd')
    $bDateMap[$standardDate] = $bItem.BBB
}

# 合并A的条目
$mergedList = foreach ($aItem in $listA) {
    $standardDate = $aItem.Date.ToString('yyyy-MM-dd')
    [pscustomobject]@{
        Date = $aItem.Date
        AAA  = $aItem.AAA
        BBB  = $bDateMap[$standardDate] ?? $null
    }
}

# 补充B独有的条目
$aDateSet = $listA | ForEach-Object { $_.Date.ToString('yyyy-MM-dd') } | Select-Object -Unique
foreach ($bItem in $listB) {
    $standardDate = $bItem.D_Date.ToString('yyyy-MM-dd')
    if ($standardDate -notin $aDateSet) {
        $mergedList += [pscustomobject]@{
            Date = $bItem.D_Date
            AAA  = $null
            BBB  = $bItem.BBB
        }
    }
}

# 按日期排序
$mergedList = $mergedList | Sort-Object Date

# 输出结果
$mergedList | Format-Table Date, AAA, BBB -AutoSize

内容的提问来源于stack exchange，提问作者Witchayanin