PowerShell是否有Matlab ismember等效实现？批量文件哈希匹配优化

问题背景 #

现有脚本用于对比当前文件信息与已保存的含哈希值的数据库文件，当文件的全名、大小、最后修改时间匹配时，复用数据库中的哈希值以避免重新计算。但当前通过foreach循环逐个遍历旧属性数组匹配的方式效率低下，单文件耗时约60ms，需要更高效的批量对比关联方法。

原代码如下：

foreach ($file in $AllFiles) {
    if($file.FullName.StartsWith($SrcPath)){
        $file.FullPotLength = $file.FullName.Length - $SrcLen + $ModLen
        $file.LocKey = $SrcKey
        #If we're not rebuilding the hash, recalculate
        if(-not($RebuildSrcHashTblFlag) -and $AllOldSrcProps){
            $MatchingFile = @($AllOldSrcProps | ?{( $_.FullName -eq $file.FullName) -and ( $_.Length -eq $file.Length) -and ($_.LastWriteTime -eq $file.LastWriteTime.ToString())})
            if($MatchingFile.Count -eq 1){
                $file.Hash = $MatchingFile.Hash
                $MatchedHash[0] = $MatchedHash[0] +1
            }
        }
    }
}

优化方案：使用哈希表实现O(1)快速查找 #

核心思路是先将旧文件属性数据预加载到哈希表（Dictionary）中，用文件全名、大小、最后修改时间的组合字符串作为唯一键，对应的值为该文件的哈希值。后续遍历新文件时，直接生成相同的组合键去哈希表中查找，无需每次遍历整个旧数组，大幅提升匹配效率。

优化后的代码步骤： #

1. 预构建旧属性哈希表

# 仅当不需要重建哈希且存在旧属性数据时构建哈希表
if (-not $RebuildSrcHashTblFlag -and $AllOldSrcProps) {
    $oldFileHashTable = [System.Collections.Generic.Dictionary[string, string]]::new()
    foreach ($oldFile in $AllOldSrcProps) {
        # 生成唯一键：拼接全名、长度、最后修改时间（注意时间格式要和新文件一致）
        $key = "$($oldFile.FullName)|$($oldFile.Length)|$($oldFile.LastWriteTime.ToString())"
        # 确保键唯一，若有重复只保留最后一个（根据实际业务调整）
        if (-not $oldFileHashTable.ContainsKey($key)) {
            $oldFileHashTable[$key] = $oldFile.Hash
        }
    }
}

2. 遍历新文件时快速匹配

foreach ($file in $AllFiles) {
    if ($file.FullName.StartsWith($SrcPath)) {
        $file.FullPotLength = $file.FullName.Length - $SrcLen + $ModLen
        $file.LocKey = $SrcKey

        if (-not $RebuildSrcHashTblFlag -and $oldFileHashTable) {
            # 生成和旧文件一致的匹配键
            $matchKey = "$($file.FullName)|$($file.Length)|$($file.LastWriteTime.ToString())"
            # 直接查找哈希表，O(1)时间复杂度
            if ($oldFileHashTable.TryGetValue($matchKey, [ref]$matchedHashValue)) {
                $file.Hash = $matchedHashValue
                $MatchedHash[0]++
            }
        }
    }
}

优化说明 #

• 哈希表的查找操作时间复杂度为O(1)，相比原代码每次遍历数组的O(n)，文件数量越多效率提升越明显。
• 注意确保新旧文件的LastWriteTime字符串格式完全一致，避免因格式差异导致匹配失败（可统一使用特定格式如yyyy-MM-dd HH:mm:ss.fff来生成键）。
• 若存在同一键对应多个哈希值的情况，需根据业务逻辑调整哈希表的构建规则（比如保留最新的哈希值）。

内容的提问来源于stack exchange，提问作者diytechy