PowerShell中基于最近日期值合并数据表的更优实现问询

针对你遇到的合并多组数据表时的性能问题，以下是更符合PowerShell惯用写法、性能更优的实现思路和代码：

核心优化点 #

• 预处理数据源：将每个数据源按日期升序排序，为后续快速查找最近日期值做准备
• 二分查找替代线性遍历：利用.NET的Array.BinarySearch实现O(log n)复杂度的查找，远快于逐行遍历的O(n)
• 减少嵌套循环：先提取所有唯一目标日期，再批量匹配各数据源的最近值

实现代码 #

function Merge-DataByLatestDate {
    [CmdletBinding()]
    param(
        [Parameter(Mandatory, ValueFromPipeline)]
        [PSObject[]]$DataSources,
        [string]$DateColumnName = 'Date',
        [string[]]$ValueColumnNames
    )

    begin {
        # 存储预处理后的数据源：排序后的数组 + 日期数组（用于二分查找）
        $processedSources = @()
    }

    process {
        foreach ($source in $DataSources) {
            # 按日期升序排序
            $sortedData = $source | Sort-Object -Property $DateColumnName
            # 提取日期数组，用于二分查找
            $dateArray = $sortedData.$DateColumnName
            $processedSources += @{
                SortedData = $sortedData
                DateArray  = $dateArray
                ValueCols  = $ValueColumnNames
            }
        }
    }

    end {
        # 获取所有数据源的日期，生成唯一且排序后的目标日期全集
        $allDates = $processedSources.DateArray | Select-Object -Unique | Sort-Object

        # 遍历每个目标日期，匹配各数据源的最近值
        foreach ($targetDate in $allDates) {
            $result = [ordered]@{ $DateColumnName = $targetDate }
            
            foreach ($source in $processedSources) {
                $dates = $source.DateArray
                $sortedData = $source.SortedData

                # 二分查找最近的不大于目标日期的索引
                $index = [Array]::BinarySearch($dates, $targetDate)
                if ($index -lt 0) {
                    # 未找到精确匹配，取前一个有效索引
                    $index = (-$index - 2)
                }

                # 如果存在有效索引，提取对应值；否则留空
                if ($index -ge 0) {
                    foreach ($col in $source.ValueCols) {
                        $result[$col] = $sortedData[$index].$col
                    }
                } else {
                    foreach ($col in $source.ValueCols) {
                        $result[$col] = $null
                    }
                }
            }

            # 输出合并后的对象
            [PSCustomObject]$result
        }
    }
}

使用示例 #

假设你的三个数据源分别为$WSHOSHO、$RRP、$TGA，每个都包含Date列和对应的值列（比如WSHOSHO_Value、RRP_Value、TGA_Value），调用方式如下：

# 准备数据源参数：每个数据源指定要提取的值列
$sourceParams = @(
    @{ Data = $WSHOSHO; ValueCols = 'WSHOSHO_Value' },
    @{ Data = $RRP; ValueCols = 'RRP_Value' },
    @{ Data = $TGA; ValueCols = 'TGA_Value' }
)

# 合并数据
$mergedData = $sourceParams | ForEach-Object {
    $_.Data | Select-Object Date, $_.ValueCols
} | Merge-DataByLatestDate -DateColumnName 'Date' -ValueColumnNames 'WSHOSHO_Value', 'RRP_Value', 'TGA_Value'

性能提升说明 #

• 原实现的嵌套遍历复杂度为O(NM)（N为目标日期数，M为各数据源总行数），优化后为O(NK*log M)（K为数据源数量），对于你提供的数据量，耗时会大幅降低
• 利用.NET原生二分查找方法，避免PowerShell层面的低效循环
• 预处理阶段仅排序一次，避免重复计算

内容的提问来源于stack exchange，提问作者dharmatech