如何高效对比PowerShell数据集并按Code拆分目标子集？

数据集信息 #

• Set1：约129k行，包含ID（10位字符串格式）和Code列，已按ID排序
• Set2：约83k行，仅包含ID（10位字符串格式），所有ID理论上都存在于Set1中，已按ID排序

需求 #

1. 提取Set1中不在Set2内的所有ID，保留对应Code列
2. 提取Set1中存在于Set2内的所有ID，保留对应Code列
3. 对上述两类结果，分别按Code值0、1、2拆分子集
4. 要求处理高效，需每日运行，避免耗时过久

已尝试的无效方法 #

方法1：数组遍历筛选（耗时超1小时） #

将数据导入数组后用Where-Object结合-NotContains筛选，效率极低：

$IDsNotIn2 = $Array1 | Where {$Array2 -NotContains $_}

方法2：哈希表+Compare-Object（无返回结果） #

尝试用哈希表存储数据后用Compare-Object对比，但未得到任何结果：

import-CSV -Path $FILE_LOC | ForEach-Object { $hashtable1[$_.ID] = $_.Code }

import-CSV -Path $FIXED_FILE_LOC -Header ID | ForEach-Object { $hashtable2[$_.ID] }

Compare-Object -ReferenceObject $hashtable1 -DifferenceObject $hashtable2 -Property ID -PassThru | ? {$_.SideIndicator -eq "<="} | Select-Object -Property * -ExcludeProperty SideIndicator

Compare-Object -ReferenceObject $hashtable1 -DifferenceObject $hashtable2

方法3：哈希表枚举器遍历（结果错误） #

遍历哈希表时错误将Set1所有数据存入新表：

$hashtable1.GetEnumerator() | ForEach-Object {
IF (-Not ($hashtable2.ContainsKey($_.key))){
    $ID = $_.key
    $columncode = $_.value
    $ID_Not_in_First_File[$ID] = @{
     $Code= $columncode 
        }
    }
}

高效解决方案 #

针对10w级大数据量场景，推荐哈希表快速查找+一次遍历分类的方式，时间复杂度接近O(n)，处理仅需几秒：

步骤1：构建Set2的ID哈希表（快速存在性判断） #

先把Set2的ID存入哈希表，实现O(1)时间复杂度的存在性校验：

# 读取Set2，构建ID哈希表（键为ID，值仅用于标记存在）
$set2Ids = @{}
Import-Csv -Path $FIXED_FILE_LOC -Header ID | ForEach-Object {
    $set2Ids[$_.ID] = $true
}

步骤2：遍历Set1，一次性完成分类与拆分 #

遍历Set1的每一行，根据ID是否在Set2哈希表中，同时按Code值存入对应集合：

# 初始化泛型列表存储结果（比普通数组效率更高）
$inSet2_0 = [System.Collections.Generic.List[PSObject]]::new()
$inSet2_1 = [System.Collections.Generic.List[PSObject]]::new()
$inSet2_2 = [System.Collections.Generic.List[PSObject]]::new()
$notInSet2_0 = [System.Collections.Generic.List[PSObject]]::new()
$notInSet2_1 = [System.Collections.Generic.List[PSObject]]::new()
$notInSet2_2 = [System.Collections.Generic.List[PSObject]]::new()

# 遍历Set1，完成分类与拆分
Import-Csv -Path $FILE_LOC | ForEach-Object {
    $currentRow = $_
    $code = [int]$currentRow.Code # 转为整数避免字符串匹配误差
    if ($set2Ids.ContainsKey($currentRow.ID)) {
        # ID在Set2中，按Code存入对应集合
        switch ($code) {
            0 { $inSet2_0.Add($currentRow) }
            1 { $inSet2_1.Add($currentRow) }
            2 { $inSet2_2.Add($currentRow) }
        }
    }
    else {
        # ID不在Set2中，按Code存入对应集合
        switch ($code) {
            0 { $notInSet2_0.Add($currentRow) }
            1 { $notInSet2_1.Add($currentRow) }
            2 { $notInSet2_2.Add($currentRow) }
        }
    }
}

步骤3：导出结果（按需保存为CSV） #

如果需要将结果持久化，直接用Export-Csv导出：

# 导出ID在Set2中的各Code子集
$inSet2_0 | Export-Csv -Path "inSet2_code0.csv" -NoTypeInformation
$inSet2_1 | Export-Csv -Path "inSet2_code1.csv" -NoTypeInformation
$inSet2_2 | Export-Csv -Path "inSet2_code2.csv" -NoTypeInformation

# 导出ID不在Set2中的各Code子集
$notInSet2_0 | Export-Csv -Path "notInSet2_code0.csv" -NoTypeInformation
$notInSet2_1 | Export-Csv -Path "notInSet2_code1.csv" -NoTypeInformation
$notInSet2_2 | Export-Csv -Path "notInSet2_code2.csv" -NoTypeInformation

方案优势 #

1. 哈希表查找：ContainsKey是O(1)操作，彻底避免数组-Contains的O(n)遍历开销
2. 一次遍历完成所有操作：仅需遍历Set1一次，同时完成存在性判断和Code拆分，减少IO与遍历次数
3. 泛型列表存储：List<PSObject>避免了普通数组扩容带来的性能损耗，适合大数据量存储

内容的提问来源于stack exchange，提问作者Zeke S