PHP提取API响应最值年份按20年区间分块遍历方案咨询

对接的API返回结果包含period字段及其他业务字段，返回结构示例如下：

stdClass Object
(
    [total] => 9000
    [data] => Array
        (
            [0] => stdClass Object
                (
                    [period] => 2021
                    [productId] => 57
                    [value] => 0
                )

            [1] => stdClass Object
                (
                    [period] => 2021
                    [productId] => 57
                    [value] => 123
                )

            [2] => stdClass Object
                (
                    [period] => 2015
                    [productId] => 57
                    [value] => 153,35
                )
            [3] => stdClass Object
                (
                    [period] => 1979
                    [productId] => 57
                    [value] => 153,35
                )
        )
)

核心业务需求：

• 提取所有记录中period字段的最小、最大年份
• 按20年跨度拆分年份区间，逐区间处理后更新已有数据库记录

以上述示例数据为例，最小年份为1979、最大年份为2021，可拆分为3个20年区间：1979-1999、2000-2020、2021至今。

当前实现代码如下：

val = array();
for ($i = 0; $i <= $response->total; $i++) {
    $val[] = $response->data->period;
}       

$min = min($val);
$max = max($val);

现有逻辑为遍历结果直到达到[total]标注的总条数，收集所有period值后计算最小、最大年份，实际运行时9000条结果的处理耗时超过5分钟。

待确认问题：

• 遍历数据时，是按total值全量遍历更优，还是按年份区间分块遍历更优？
• 分块处理时在块间加入sleep间隔，是否能避免页面请求超时？

启动阶段日志 #

finished do.while and curl calls in 3.50371694565 seconds, caclled curl 1 times, allData size is 7 response total is 9517 finished first update in time_lapfinished foreach in 0.434380054474 seconds

结束阶段日志 #

finished do.while and curl calls in 0.608150005341 seconds, caclled curl 1 times, allData size is 7 response total is 9517 finished the main cycle in 140.772567034 seconds cycle exec 203 times

遍历方案选择：分块遍历远优于全量遍历 #

• 你当前的全量遍历实现本身存在逻辑错误：第一行数组定义漏写$符号，且$response->data是数组结构，直接读取$response->data->period无法获取正确值，循环到total数值的逻辑也完全没有必要——你不需要拉取全量数据才能计算年份最值。如果对接的API支持聚合查询，直接请求接口返回min(period)和max(period)即可，无需遍历任何业务数据。
• 即便API不支持聚合查询，按20年区间分块拉取、处理数据的性能表现也会远好于全量拉取：单次请求、处理的数据量更小，内存占用更低，不会出现全量加载数千条数据导致的内存开销过高、遍历缓慢问题。从你提供的日志来看，现有逻辑循环执行203次才完成处理，全量加载带来的额外性能损耗非常明显。
• 即便选择全量遍历，也可以优化最值计算逻辑：不需要把所有period值存入数组后再调用函数计算，遍历过程中动态更新临时最值变量即可，能节省大量内存开销，优化后代码参考：

$min = null;
$max = null;
foreach ($response->data as $item) {
    $year = (int)$item->period;
    if (is_null($min) || $year < $min) $min = $year;
    if (is_null($max) || $year > $max) $max = $year;
}

sleep间隔无法避免请求超时 #

块间加sleep不仅不能解决超时问题，反而会拉长总处理时长，提升超时概率：

• 绝大多数PHP运行环境下，sleep()的休眠时间会计入脚本最大执行时长（max_execution_time）统计，加休眠等于让脚本总运行时间更久，更容易触发超时限制。
• 要从根源解决超时问题，参考以下方案优先级：
  • 优先将这类长耗时数据同步任务改为后台CLI脚本执行，CLI模式下默认无脚本执行时间限制，是处理大批量数据任务的标准方案。
  • 若任务必须通过web请求触发，改用异步任务队列实现：页面触发任务后直接返回响应，由后台常驻进程分块处理数据，处理完成后更新任务状态，前端通过轮询获取处理结果即可。
  • 临时兼容方案可在每个块处理完成后调用flush()推送缓冲区内容到浏览器，同时调用set_time_limit(0)重置执行时间计时器，但该方案稳定性差，不建议长期使用。

内容的提问来源于stack exchange，提问作者user7110057