如何高效对比大数据量的分片多维数组？

哥们儿，我太懂你这种崩溃的感受了——50万条数据的多维数组用递归对比，栈溢出、内存耗尽都是大概率事件。既然你已经把大数组拆成了每1万条一组的分片，那咱们就得顺着这个结构来优化，别再用通用递归硬扛了。

核心优化思路 #

咱们的目标是尽量减少需要细粒度对比的数据量，利用分片的特性先做粗筛，再对有差异的分片做精准对比：

1. 先对比两个分片数组的整体结构（分片数量），快速定位缺失/多出的分片
2. 对每个对应位置的分片，先做快速哈希校验，跳过完全一致的分片
3. 对哈希不一致的分片，再做元素级对比——而且因为你的子数组结构是固定的（dateTime/fileName/path/size），完全不用递归，直接迭代对比字段就行，性能提升一大截

具体实现代码 #

// 对比固定结构的子数组（替换通用递归，性能更高）
function compareItem($item1, $item2) {
    $diff = [];
    // 逐个对比固定字段，比递归遍历所有键高效
    $fields = ['dateTime', 'fileName', 'path', 'size'];
    foreach ($fields as $field) {
        if (!isset($item2[$field]) || $item1[$field] !== $item2[$field]) {
            $diff[$field] = $item1[$field];
        }
    }
    return empty($diff) ? null : $diff;
}

// 高效对比两个分片数组
function compareShardedArrays($shardedArr1, $shardedArr2) {
    $finalDiff = [];
    $maxSliceIndex = max(count($shardedArr1), count($shardedArr2));

    for ($i = 0; $i < $maxSliceIndex; $i++) {
        $slice1 = $shardedArr1[$i] ?? [];
        $slice2 = $shardedArr2[$i] ?? [];

        // 情况1：其中一个分片不存在，直接把整个分片加入差异
        if (empty($slice1) || empty($slice2)) {
            $finalDiff[$i] = $slice1 ?: $slice2;
            continue;
        }

        // 快速哈希校验：如果分片哈希一致，直接跳过细对比
        // 这里用crc32比md5更快，虽然碰撞概率略高，但对比场景下可以接受
        // 如果追求绝对安全，可以改用sha1，但速度会慢一点
        $hash1 = crc32(serialize($slice1));
        $hash2 = crc32(serialize($slice2));
        if ($hash1 === $hash2) {
            continue;
        }

        // 情况2：分片哈希不同，做元素级对比
        $sliceDiff = [];
        foreach ($slice1 as $key => $item1) {
            $item2 = $slice2[$key] ?? null;
            if (!$item2) {
                // 元素在slice2中不存在
                $sliceDiff[$key] = $item1;
                continue;
            }
            // 对比子数组的固定字段
            $itemDiff = compareItem($item1, $item2);
            if ($itemDiff) {
                $sliceDiff[$key] = $itemDiff;
            }
        }

        // 还要检查slice2中有没有slice1没有的元素
        foreach ($slice2 as $key => $item2) {
            if (!isset($slice1[$key])) {
                $sliceDiff[$key] = ['missing_in_first_array' => $item2];
            }
        }

        if (!empty($sliceDiff)) {
            $finalDiff[$i] = $sliceDiff;
        }
    }

    return empty($finalDiff) ? [] : $finalDiff;
}

// 用法示例
$diffResult = compareShardedArrays($new, $res);
echo "<pre>";
print_r($diffResult);
echo "</pre>";

进阶优化：更快的哈希计算 #

如果你觉得序列化分片还是有点慢，可以把哈希计算改成遍历分片元素累加哈希值，不用序列化整个分片，速度会更快，碰撞概率也更低：

function calculateSliceHash($slice) {
    $hash = 0;
    foreach ($slice as $key => $item) {
        $hash ^= crc32($key . $item['dateTime'] . $item['fileName'] . $item['path'] . $item['size']);
    }
    return $hash;
}

把原代码中的哈希计算部分替换成这个函数即可。

内容的提问来源于stack exchange，提问作者peace_love