PowerShell内连接超十万行Excel表格速度极慢，求高效解决方案

为什么你用的Join-Object效率极低 #

你使用的社区版Join-Object是纯PowerShell脚本逻辑实现的，匹配逻辑是逐行遍历对比，面对十万级数据时时间复杂度会飙升至O(n*m)，自然速度极慢。而R的dplyr、Python的pandas这类工具，底层用C/C++实现了哈希表匹配（时间复杂度O(n+m)），所以能秒级完成内连接操作。

高效解决方法 #

方法1：基于.NET哈希表手动实现内连接 #

利用哈希表预存右表的匹配键值，再遍历左表快速匹配，大幅降低时间复杂度：

# 先导入两个Excel文件（假设已安装Import-Excel模块）
$df1 = Import-Excel -Path "file1.xlsx"
$df2 = Import-Excel -Path "file2.xlsx"

# 用哈希表预存右表中name对应的数据行
$rightDataMap = @{}
foreach ($row in $df2) {
    $rightDataMap[$row.name] = $row
}

# 遍历左表，匹配哈希表中的数据并合并
$mergedResult = foreach ($leftRow in $df1) {
    if ($rightDataMap.ContainsKey($leftRow.name)) {
        $rightRow = $rightDataMap[$leftRow.name]
        # 合并左右行的属性，避免重复列名冲突
        $mergedProps = [ordered]@{}
        $leftRow.PSObject.Properties | ForEach-Object { $mergedProps[$_.Name] = $_.Value }
        $rightRow.PSObject.Properties | ForEach-Object {
            if (-not $mergedProps.ContainsKey($_.Name)) {
                $mergedProps[$_.Name] = $_.Value
            }
        }
        [PSCustomObject]$mergedProps
    }
}

# 导出合并结果到Excel
$mergedResult | Export-Excel -Path "merged_output.xlsx"

方法2：借助临时SQLite数据库实现内连接 #

利用SQL的内连接语法，依托SQLite的底层优化处理大数据，效率同样出色：

# 先安装所需模块（首次运行时执行）
# Install-Module -Name ImportExcel, dbatools -Scope CurrentUser

# 导入Excel数据
$df1 = Import-Excel -Path "file1.xlsx"
$df2 = Import-Excel -Path "file2.xlsx"

# 创建内存中的SQLite临时数据库
$conn = New-Object System.Data.SQLite.SQLiteConnection("Data Source=:memory:")
$conn.Open()

# 将数据写入临时表
$df1 | Write-DbaDataTable -SqlInstance $conn -Table TableA -AutoCreateTable
$df2 | Write-DbaDataTable -SqlInstance $conn -Table TableB -AutoCreateTable

# 执行内连接查询
$joinQuery = @"
SELECT * FROM TableA
INNER JOIN TableB ON TableA.name = TableB.name
"@
$mergedResult = Invoke-DbaQuery -SqlInstance $conn -Query $joinQuery

# 关闭连接并导出结果
$conn.Close()
$mergedResult | Export-Excel -Path "merged_output.xlsx"

内容的提问来源于stack exchange，提问作者Frank