PHP：处理大型数据集循环的性能优化与最佳实践

问题场景 #

手里有个包含数千条多字段的查询结果集，需要和另一个包含几百个日期的数组做循环匹配：每遍历一个日期，就从数据集里找出对应日期的数据，追加到该日期的数组里。现在纠结两种实现方案的优劣：

1. 每次匹配到数据后，立刻从数据集里删除对应条目，逐步缩小数据集规模，直到最后清空
2. 全程保留数据集不动，等所有日期循环完再统一删除已匹配的条目

示例代码如下：

$dates = ['2022-01-01' => [], '2022-01-02' => []]; // 几百个日期
$dataset = ['manyThousandRowsOfData']; // 数千条数据量较大的记录

foreach($dates as $date => $dateData){
    foreach($dataset as $key => $data){
        if($data['date'] !== $date){
          continue;
        }

        $dates[$date] = $data;
        unset($dataset[$key]); // 要不要在这里unset？还是留到最后统一处理？
        break;
    }
}

性能对比 #

方案1（实时删除） #

• 优势：每次匹配后移除已处理的条目，后续日期循环时不需要再遍历这些已匹配过的数据，能大幅减少总循环次数。比如数据集有5000条，第一个日期匹配到1000条，第二个日期就只需要遍历剩下的4000条，以此类推，总循环次数会远小于「日期数×初始数据集条数」。
• 注意：PHP的foreach在遍历数组时，外层的日期循环每次都会使用修改后的dataset，所以实时删除的性能优化效果是立竿见影的。

方案2（统一清理） #

• 劣势：不管数据有没有被匹配过，每个日期循环都要完整遍历整个初始数据集。如果有200个日期、5000条数据，总循环次数就是100万次，性能浪费非常明显，数据量越大差距越显著。

最佳实践与更优方案 #

方案1的适用前提 #

只有当每条数据只会匹配一个日期时才能用方案1。如果存在一条数据可能匹配多个日期的情况，实时删除会导致后续日期循环找不到这条数据，业务逻辑就会出错。

最优解法：预处理分组 #

其实你现在的嵌套循环思路本身就不是最优的，更高效的做法是先把数据集按date字段分组，彻底避免嵌套循环：

// 第一步：遍历一次数据集，按date字段分组
$groupedData = [];
foreach ($dataset as $item) {
    $date = $item['date'];
    if (!isset($groupedData[$date])) {
        $groupedData[$date] = [];
    }
    $groupedData[$date][] = $item;
}

// 第二步：直接给dates数组填充对应数据
foreach ($dates as $date => $_) {
    $dates[$date] = $groupedData[$date] ?? [];
}

这种方式的时间复杂度是O(N+M)（N是数据集条数，M是日期数），比嵌套循环的O(N*M)性能提升几个量级，代码也更简洁易维护。

总结 #

1. 如果只能在你给出的两个方案里选，方案1的性能远优于方案2，前提是每条数据仅匹配一个日期；
2. 但从性能和可维护性角度，预处理分组才是最优解，完全避免了低效的嵌套循环。

内容的提问来源于stack exchange，提问作者MHopstad