递归合并函数处理大数据量时触发内存耗尽错误排查

嘿，我之前处理过类似的递归构建嵌套结构的场景，大数据量下确实容易踩内存耗尽的坑。先帮你拆解下问题根源，再给你可行的优化方案：

问题根源分析 #

你的recursiveMerge函数在小数据量下正常，但大数据量触发Allowed memory size exhausted，主要有这几个原因：

• 递归栈内存开销：如果你的列数较多，递归调用的层级会很深，PHP会为每一层递归保留上下文，栈内存会快速累积。
• 频繁数组重索引：每次unset行之后都调用array_values重新索引数组，大数据量下这会生成大量临时数组，内存无法及时回收。
• 数组值传递开销：函数里的trimmedArray和parentArray是值传递，每次递归都会复制整个数组，内存占用翻倍式增长。
• 合并操作的冗余：array_merge_custom如果实现得不够高效，反复合并数组会产生很多不必要的内存复制。

优化方案 #

1. 用迭代替代递归（核心优化） #

递归虽然写起来简洁，但大数据量下栈内存的消耗是硬伤。改成迭代方式能彻底避免这个问题，同时减少上下文内存占用：

function iterativeMerge($trimmedArray, $parentArray) {
    // 从最右侧的列开始向上合并
    $columnCount = count($trimmedArray[0]) - 1;

    while ($columnCount >= 1) {
        $mergedRows = [];
        $currentParentVal = null;
        $sameParentGroup = [];

        // 按父列值分组处理行
        foreach ($parentArray as $idx => $parentRow) {
            $parentVal = $parentRow[$columnCount];
            $currentTrimmedRow = $trimmedArray[$idx];

            if ($parentVal !== $currentParentVal) {
                // 处理上一组相同父值的行
                if ($currentParentVal !== null) {
                    $mergedItem = $sameParentGroup[0];
                    // 合并组内的嵌套数据
                    if (count($sameParentGroup) > 1) {
                        $combinedData = [];
                        foreach ($sameParentGroup as $groupRow) {
                            $combinedData = array_merge_custom($combinedData, $groupRow[$columnCount]);
                        }
                        $mergedItem[$columnCount] = $combinedData;
                    }
                    // 将当前列嵌套到父列
                    $mergedItem[$columnCount - 1] = [$mergedItem[$columnCount - 1] => $mergedItem[$columnCount]];
                    $mergedRows[] = $mergedItem;
                }
                // 开启新的分组
                $currentParentVal = $parentVal;
                $sameParentGroup = [$currentTrimmedRow];
            } else {
                $sameParentGroup[] = $currentTrimmedRow;
            }
        }

        // 处理最后一组数据
        if ($currentParentVal !== null) {
            $mergedItem = $sameParentGroup[0];
            if (count($sameParentGroup) > 1) {
                $combinedData = [];
                foreach ($sameParentGroup as $groupRow) {
                    $combinedData = array_merge_custom($combinedData, $groupRow[$columnCount]);
                }
                $mergedItem[$columnCount] = $combinedData;
            }
            $mergedItem[$columnCount - 1] = [$mergedItem[$columnCount - 1] => $mergedItem[$columnCount]];
            $mergedRows[] = $mergedItem;
        }

        // 更新数组，进入上一列的合并
        $trimmedArray = $mergedRows;
        $parentArray = array_map(function($row) {
            array_pop($row);
            return $row;
        }, $parentArray);
        $columnCount--;
    }

    return $trimmedArray;
}

2. 优化数组传递（快速见效的小调整） #

如果暂时不想改迭代，至少把函数的数组参数改成引用传递，避免每次递归都复制整个数组：

function recursiveMerge(&$rowIdx, &$columnIdx, &$trimmedArray, &$parentArray) {
    // 原有逻辑不变，但内存开销会大幅降低
}

3. 优化自定义合并函数 #

如果你的array_merge_custom效率不高，也会拖垮内存。试试这个更高效的实现（假设是合并嵌套关联数组）：

function array_merge_custom($target, $source) {
    foreach ($source as $key => $value) {
        if (isset($target[$key]) && is_array($target[$key]) && is_array($value)) {
            $target[$key] = array_merge_custom($target[$key], $value);
        } else {
            $target[$key] = $value;
        }
    }
    return $target;
}

这个版本直接在目标数组上修改，减少了不必要的数组复制。

4. 临时调整内存限制（应急方案） #

如果代码暂时没法改，也可以临时调高PHP的内存限制，但这只是治标不治本：

// 在脚本最开头添加
ini_set('memory_limit', '512M'); // 根据实际情况调整，比如1G

验证小技巧 #

可以用memory_get_usage()和memory_get_peak_usage()函数监控内存使用，对比优化前后的峰值：

echo "初始内存使用: " . memory_get_usage() . "\n";
// 调用你的合并函数
$result = iterativeMerge($trimmedArray, $parentArray);
echo "峰值内存使用: " . memory_get_peak_usage() . "\n";

内容的提问来源于stack exchange，提问作者Shreya Sur